[논문 리뷰] Constrained Structured Regression with Convolutional Neural Networks

Deepak Pathak, Philipp Krähenbühl외 2명|arXiv (Cornell University)|2015. 11. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 8

한 줄 요약

이 논문은 출력 분포와 제약 조건 이행 확률을 모델링하는 컨볼루션 네트워크를 사용한 제약 구조 회귀 프레임워크를 제안한다. 이는 구조적 회귀 작업에서 더 정확하고 시각적으로 일관된 예측을 가능하게 한다. 출력과 제약 조건에 대한 신뢰도를 학습함으로써, 이 방법은 MPI Sintel 데이터셋에서 최신 기술 대비 10–20%의 상대적 향상을 이룬다.

ABSTRACT

Convolutional Neural Networks (CNNs) have recently emerged as the dominant model in computer vision. If provided with enough training data, they predict almost any visual quantity. In a discrete setting, such as classification, CNNs are not only able to predict a label but often predict a confidence in the form of a probability distribution over the output space. In continuous regression tasks, such a probability estimate is often lacking. We present a regression framework which models the output distribution of neural networks. This output distribution allows us to infer the most likely labeling following a set of physical or modeling constraints. These constraints capture the intricate interplay between different input and output variables, and complement the output of a CNN. However, they may not hold everywhere. Our setup further allows to learn a confidence with which a constraint holds, in the form of a distribution of the constrain satisfaction. We evaluate our approach on the problem of intrinsic image decomposition, and show that constrained structured regression significantly increases the state-of-the-art.

연구 동기 및 목표

• 표준 CNN이 구조적 회귀 작업에서 출력을 독립적으로 처리하고 물리적 또는 모델링 제약 조건을 모델링하지 못하는 한계를 해결하기 위해.
• 물리 기반 제약 조건을 통해 반사율과 조명 간의 의존성을 재도입함으로써 인트리닉스 이미지 분해 성능을 향상시키기 위해.
• 예측된 출력 분포뿐만 아니라 제약 조건 이행에 대한 신뢰도를 학습함으로써 더 견고한 추론을 가능하게 하기 위해.
• 후처리 단계에서 제약 조건을 강제 적용하는 대신 추론 중 제약 조건 이행을 활용함으로써 더 나은 일반화 능력과 시각적 품질을 확보하기 위해.

제안 방법

• 프레임워크는 인트리닉스 이미지 분해에서 반사율과 조명과 같은 출력 변수에 대한 전체 확률 분포를 예측할 수 있도록 CNN을 훈련시킨다.
• 동시에 라운드 베르의 법칙과 같은 물리적 제약 조건의 이행 확률 분포를 학습하여 제약 조건 유효성에 대한 불확실성을 모델링한다.
• 추론 단계에서는 출력 분포에서 샘플링을 수행하면서 가장 가능성이 높은 제약 조건 이행 구성 요건을 강제 적용하는 구조적 예측 방법을 사용한다.
• 정확한 출력 예측과 일관된 제약 조건 이행을 동시에 장려하는 미분 가능 손실 함수를 사용하며, 이는 엔드 투 엔드로 학습된다.
• 효율적인 훈련과 추론을 가능하게 하기 위해 출력과 제약 조건의 결합 분포를 변분 근사로 모델링한다.
• 이 방법은 단순히 인트리닉스 이미지 분해에만 국한되지 않고 단일 영상 깊이 추정 및 광학 흐름 예측과 같은 다른 구조적 회귀 작업에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 출력 예측과 제약 조건 이행에 대한 불확실성을 함께 모델링하면 컴퓨터 비전 작업에서 구조적 회귀 성능이 향상되는가?
• RQ2 엄격하게 제약 조건을 강제 적용하는 대신 제약 조건 이행에 대한 분포를 학습함으로써 예측 정확도와 시각적 품질이 어떻게 향상되는가?
• RQ3 학습 데이터가 제한된 상황에서 물리적 지식을 가진 제약 조건에 대한 가중치를 학습함으로써 CNN이 얼마나 더 큰 이점을 얻을 수 있는가?
• RQ4 제안된 프레임워크는 기존의 표준 CNN과 구조적 예측 방법보다 인트리닉스 이미지 분해에서 더 우수한 성능을 보일 수 있는가, 특히 새로운 시나리오에 대한 일반화 능력에서?
• RQ5 깊이 정보나 추가 감독 없이 오직 RGB 입력만을 사용하여도 이 방법이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MPI Sintel 데이터셋에서 기존 최고 기술 대비 평균 MSE에서 13.76% 상대적 향상, 평균 LMSE에서 12.10%, 평균 DSSIM에서 17.08% 향상되었다.
• 깊이 감독을 사용한 기존 방법들 전부를 초월하여, 시나리오 분할에서 평균 MSE 1.89%, 평균 LMSE 1.24%를 기록했다.
• 시각적 비교 결과, 두 방법 모두 오직 RGB 입력만을 사용하고 있음에도 불구하고, 이 방법은 Narihira 등(2015a)보다 더 세밀하고 정확한 결과를 생성한다.
• 프레임워크는 시각적 품질을 크게 향상시켰으며, 이는 DSSIM에서 17.08% 상대적 향상으로 나타나, 참값과의 구조적 유사도가 더 높다는 것을 의미한다.
• 제약 조건 이행에 대한 신뢰도를 학습하는 것이, 모든 지표에서 성능을 떨어뜨리는 간단한 제약 조건 강제 적용보다 더 우수한 성능을 내는 것으로 나타났다 (DSSIM 제외).
• 이 방법은 새로운 시나리오에 대해 잘 일반화되며, 분리된 훈련/테스트 시나리오 분할에서 강력한 성능을 보여, 분포 이동에 대한 견고함을 확인한다.