[논문 리뷰] DISCO Nets: DISsimilarity COefficient Networks

Diane Bouchacourt, Manish Kumar외 1명|arXiv (Cornell University)|2016. 06. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 3

한 줄 요약

DISCO 네트워크는 진짜 사후분포와 추정 사후분포 간의 비유사도 계수를 최소화하여 구조적 예측에서 불확실성을 모델링하는 새로운 확률적 딥러닝 프레임워크를 제안한다. 작업에 특화된 손실에 맞춰 훈련 목표를 조정함으로써, DISCO 네트워크는 손실에 제약이 적은 구조적 제약을 가진 상태에서 수작업 자세 추정에서 비확률적 모델과 기존의 확률적 모델을 모두 능가하며, 출력 불확실성을 정확히 포착하고 최첨단 성능을 달성한다.

ABSTRACT

We present a new type of probabilistic model which we call DISsimilarity COefficient Networks (DISCO Nets). DISCO Nets allow us to efficiently sample from a posterior distribution parametrised by a neural network. During training, DISCO Nets are learned by minimising the dissimilarity coefficient between the true distribution and the estimated distribution. This allows us to tailor the training to the loss related to the task at hand. We empirically show that (i) by modeling uncertainty on the output value, DISCO Nets outperform equivalent non-probabilistic predictive networks and (ii) DISCO Nets accurately model the uncertainty of the output, outperforming existing probabilistic models based on deep neural networks.

연구 동기 및 목표

• 데이터 노이즈나 가림 현상으로 인해 진짜 출력이 모호한 구조적 예측 작업에서 불확실성을 모델링하는 데 도전하는 것.
• 효율적인 사후분포 샘플링과 불확실성 정량화를 허용하는 확률적 딥러닝 프레임워크를 개발하는 것.
• 작업에 특화된 평가 손실에 맞춰진 훈련 목표를 통해 일반화 및 예측 성능를 향상시키는 것.
• 복잡한 아키텍처와 훈련 절차가 필요한 기존 모델(예: GAN, VAE)의 한계를 극복하는 것.
• 다양한 예측 작업에 쉽게 적용할 수 있는 유연하고 아키텍처 독립적인 프레임워크를 제공하는 것.

제안 방법

• DISCO 네트워크는 진짜 사후분포 P를 신경망 파rameter화된 분포 Q로 표현한다.
• 모델은 P와 Q 사이의 비유사도 계수를 최소화하여 훈련되며, 이 비유사도 계수는 대칭적이며 음수가 아닌 손실 함수에서 유도된다.
• 이 비유사도 계수는 Rao의 연구에 기반하며, 훈련 목표가 작업에 특화된 손실 함수 Δ_task에 명시적으로 맞출 수 있도록 한다.
• 모델은 적대적 훈련이나 특정 네트워크 아키텍처를 요구하지 않아 광범위한 적용이 가능하다.
• 사후분포에서의 샘플링은 효율적이며, Q가 신경망에 의해 직접 파rameter화되기 때문이다.
• 백프로파게이션을 사용한 엔드 투 엔드 훈련이 가능하며, 추론 네트워크나 근사 사후분포 근사가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 작업에 특화된 비유사도 계수를 명시적으로 최소화하는 딥러닝 모델이 비확률적 모델보다 구조적 예측 작업에서 성능이 뛰어나게 되는가?
• RQ2 평가 손실에 맞춰 훈련 목표를 조정하면, 불확실성 또는 모호성이 있는 예측 작업에서 성능 향상이 이루어지는가?
• RQ3 실제 환경에서의 예측, 예를 들어 깊이 영상에서의 손 자세 추정에서 DISCO 네트워크가 출력 불확실성을 정확히 모델링할 수 있는가?
• RQ4 예측 정확도와 훈련 안정성 측면에서 DISCO 네트워크는 cGAN 및 VAE와 같은 최첨단 확률적 모델과 어떻게 비교되는가?
• RQ5 아키텍처 수정 없이 DISCO 네트워크는 다양한 아키텍처와 작업에 얼마나 일반화될 수 있는가?

주요 결과

• DISCO 네트워크는 수작업 자세 추정에서 동일한 비확률적 예측 네트워크보다 뛰어난 성능을 보이며, MeJEE는 20.7 ± 0.121 mm, MaJEE는 45.1 ± 0.246 mm를 달성한다.
• 단일 네트워크 아키텍처를 사용함에도 불구하고, NYU-Prior-Refined(MeJEE: 19.7 ± 0.157 mm) 및 NYU-Feedback(MeJEE: 16.0 ± 0.096 mm)와 유사한 최첨단 성능을 달성한다.
• β=1, γ=0.5로 훈련했을 때, DISCO 네트워크는 80 mm 이내 오차를 가진 프레임 비율이 93.250%에 달하며, NYU-Init(86.537%)와 NYU-Feedback(97.334%)를 초월한다.
• cGAN 기반 모델은 생성자 및 판별기의 컬러블레이션 레이어가 사전 훈련된 DISCO 네트워크로 초기화되고 고정되어 있을 때에만 경쟁력 있는 성능을 보이며, 이는 훈련의 불안정성과 아키텍처 의존성의 징후이다.
• DISCO 네트워크는 정확도와 훈련 신뢰성 측면에서 표준 GAN 및 cGAN보다 뚜렷이 뛰어나며, 원칙적인 손실에 맞춘 목표 함수의 이점을 입증한다.
• 복잡한 추론 네트워크나 적대적 훈련이 필요로 하지 않기 때문에, 존재하는 확률적 모델보다 더 효율적이고 쉽게 구현이 가능하며 정확한 불확실성 모델링을 가능하게 한다.