[논문 리뷰] Deep Structured Prediction with Nonlinear Output Transformations

Colin Graber, Ofer Meshi외 1명|arXiv (Cornell University)|2018. 11. 01.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 구조적 추론을 딥 네ural 네트워크 내 중간층으로 통합하는 새로운 딥 구조적 예측 프레임워크를 제안한다. 이는 추론 중 구조적 제약 조건을 유지하면서 출력 구조의 비선형 변환을 가능하게 한다. 라그랑주 최적화 프레임워크를 사용함으로써 기존의 추론 기법들과의 호환성을 유지하며, OCR, 이미지 태깅, 다중 레이블 분류, 의미적 세그멘테이션 작업에서 최신 기술 수준의 성능을 달성한다. 표준 구조적 모델 및 SPEN 유사 접근법보다 뛰어난 성능을 보였다.

ABSTRACT

Deep structured models are widely used for tasks like semantic segmentation, where explicit correlations between variables provide important prior information which generally helps to reduce the data needs of deep nets. However, current deep structured models are restricted by oftentimes very local neighborhood structure, which cannot be increased for computational complexity reasons, and by the fact that the output configuration, or a representation thereof, cannot be transformed further. Very recent approaches which address those issues include graphical model inference inside deep nets so as to permit subsequent non-linear output space transformations. However, optimization of those formulations is challenging and not well understood. Here, we develop a novel model which generalizes existing approaches, such as structured prediction energy networks, and discuss a formulation which maintains applicability of existing inference techniques.

연구 동기 및 목표

• 기존의 딥 구조적 모델이 출력 변수 간의 복잡한 비선형 상호작용을 포착하는 데에 한계가 있음을 해결하기 위해.
• 최적화 과정 중에도 구조적 제약 조건을 유지하면서 딥 네트워크 내에서의 구조적 추론을 가능하게 하기 위해.
• 구조적 예측 에너지 네트워크(SPENs)와 같은 기존 접근법을 일반화하기 위해 출력 표현의 암묵적 비선형 변환을 허용하기 위해.
• 다이나믹 프ogram밍 및 선형 프ogram밍 리 릴랙세이션과 같은 전통적인 추론 기법들과 호환되는 최적화 프레임워크를 개발하기 위해.
• 실세계 비전 및 NLP 작업에서 베이스라인 모델에 비해 모델의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 구조적 추론을 중간층으로 수행하는 딥 네트워크 아키텍처를 도입하여, 유니터리 네트워크에서의 특징을 구조적 출력 표현으로 변환한다.
• 공동 목표를 최적화하기 위해 라그랑주 리 릴랙세이션 프레임워크를 사용하며, 다이나믹 프로그래밍 및 선형 프로그래밍 리 릴랙세이션과 같은 표준 추론 엔진의 사용을 가능하게 한다.
• 상위 수준의 변환 네트워크 $T$ 를 활용하여 구조적 출력에 비선형 변환을 적용함으로써 고차원 의존성을 암묵적으로 모델링한다.
• 유니터리 특징 $H(c, w, w)$ 와 추론을 통해 확보된 구조적 퍼텐셜 $y$ 를 조합한 점수 함수를 정의하고, 이후 비선형 변환 $T(y, w)$ 를 적용한다.
• 라그랑주 공식의 미분 가능성에 기반해 추론 레이어를 통해 백프로파게이션을 수행하는 엔드 투 엔드 학습을 적용한다.
• 다중 레이블 분류에는 이중 노드를 각 레이블에 할당한 완전 연결형 쌍체 그래픽 모델을, 의미적 세그멘테이션에는 컨볼루션 리스크 듀얼 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 내 중간층으로 구조적 추론을 통합함으로써 구조적 예측 작업의 성능 향상이 가능할까?
• RQ2 상위 수준의 네트워크 $T$ 를 통해 구조적 출력에 비선형 변환을 허용하면 고정되거나 선형 변환보다 더 우수한 일반화 성능를 달성할 수 있을까?
• RQ3 제안된 라그랑주 기반 최적화 프레임워크가 다이나믹 프로그래밍 및 LP 리 릴랙세이션과 같은 전통적 추론 기법들과 호환성을 유지할 수 있을까?
• RQ4 SPENs 및 기타 구조적 딥 러닝 베이스라인과 비교해 성능 및 최적화 안정성 측면에서 어떻게 성능을 냈는가?
• RQ5 모델이 잠재 퍼텐셜 함수에 명시적으로 모델링되지 않은 전역적 구조 패턴을 포착할 수 있을까?

주요 결과

• MIRFLICKR25k 이미지 태깅 데이터셋에서 NLTop 모델은 평균 mAP 0.786을 기록하여 DeepStruct 베이스라인(0.762)과 SPEN 유사 추론 방법(0.754)을 모두 앞섰다.
• 1,329,408개의 파라미터를 가진 NLTop 모델이 2,444,544개의 파라미터를 가진 더 큰 DeepStruct++ 모델보다 뛰어난 성능을 보였으며, 이는 성능 향상이 파라미터 수량 때문이 아니라 아키텍처 설계 덕분임을 시사한다.
• Weizmann Horses 데이터셋에서의 의미적 세그멘테이션 작업에서 NLStruct는 평균 IoU 0.712를 기록하여 베이스라인인 DeepStruct(0.689)를 초월했고, 오라클 모델(0.741)에 근접했다.
• SPEN 유사 추론 절차(SPENInf)는 세그멘테이션 작업에서는 NLStruct와 유사한 성능를 보였지만, 이미지 태깅에서는 NLTop에 비해 뚜렷이 열등한 성능를 보여, 제안된 최적화 프레임워크의 우수성을 확인했다.
• 모델는 $T$ 를 통해 고정된 퍼텐셜을 재균형화함으로써 더 뛰어난 강건성과 표현력 향상을 보였으며, 이는 작업에 특화된 손실 함수를 암묵적으로 학습할 수 있음을 검증했다.
• NLStruct 모델의 학습은 이미지 태깅에 약 9.2시간, 세그멘테이션에 약 10시간 소요되었으며, 이는 실세계 응용에 있어서도 실현 가능한 학습 시간임을 시사한다.