[논문 리뷰] Learning in an Uncertain World: Representing Ambiguity Through Multiple Hypotheses

Christian Rupprecht, Iro Laina외 5명|arXiv (Cornell University)|2016. 12. 01.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 33

한 줄 요약

이 논문은 단일 예측 딥러닝 모델을 다중가능성 가설 예측(MHP)으로 재구성하여, 표준 역전파를 통한 엔드 투 엔드 훈련이 가능한 새로운 메타손실을 사용해 다수의 타당한 가설을 출력하는 일반적인 프레임워크를 제안한다. MHP 모델은 인간 자세 추정, 미래 예측, 이미지 분류 및 세그멘테이션 등 다양한 작업에서 단일 가설 기반 모델보다 우수한 성능을 보이며, 출력 공간에서 바르노이 타일링을 통해 예측 변동성을 드러낸다.

ABSTRACT

Many prediction tasks contain uncertainty. In some cases, uncertainty is inherent in the task itself. In future prediction, for example, many distinct outcomes are equally valid. In other cases, uncertainty arises from the way data is labeled. For example, in object detection, many objects of interest often go unlabeled, and in human pose estimation, occluded joints are often labeled with ambiguous values. In this work we focus on a principled approach for handling such scenarios. In particular, we propose a framework for reformulating existing single-prediction models as multiple hypothesis prediction (MHP) models and an associated meta loss and optimization procedure to train them. To demonstrate our approach, we consider four diverse applications: human pose estimation, future prediction, image classification and segmentation. We find that MHP models outperform their single-hypothesis counterparts in all cases, and that MHP models simultaneously expose valuable insights into the variability of predictions.

연구 동기 및 목표

• 모호한 레이블링이나 다중 모드 결과가 존재하는 예측에서의 불확실성을 다루기 위해.
• 모드를 평균화하는 단일 가설 모델의 한계를 극복하여 흐릿하거나 현실적이지 않은 예측을 방지하기 위해.
• 아키텍처의 대대적 개편 없이도 다양한 아키텍처와 손실 함수에 적용 가능한 일반적이고 후행 조정이 가능한 프레임워크를 제공하기 위해.
• 불확실한 상황에서의 모델의 해석 가능성과 강건성을 향상시키기 위해 예측 분산을 드러내기 위해.
• 회귀, 분류, 세그멘테이션을 포함한 다양한 작업에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 입력당 M개의 가설을 예측하는 다중가설 예측(MHP) 모델로 단일 출력 모델을 재구성한다.
• 출력 공간에서 바르노이 타일링을 유도하는 메타손실 함수를 도입하여 조건부 출력 분포의 조각별 상수 근사화를 최소화한다.
• 역전파를 통한 기울기 기반 최적화를 가능하게 하기 위해 메타손실 내의 딱딱한 할당을 미분 가능한 유사화 방법을 사용한다.
• 공유된 인코더 아키텍처를 사용해 표준 딥러닝 파ip라인(확률적 경사 하강법 및 역전파)을 통해 MHP 모델을 훈련한다.
• 최소한의 아키텍처 변경으로서, 회귀(예: 미래 프레임 예측), 분류(예: Pascal VOC, COCO), 세그멘테이션(예: FCN-8s)에 이 프레임워크를 적용한다.
• 공유된 특징 추출을 통해 가설 간 정보 공유를 가능하게 하여 앙상블 방법 대비 파rameter 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 일관된 딥러닝 프레임워크가 단일 출력 대신 다수의 가설을 생성함으로써 예측의 모호성을 효과적으로 표현할 수 있는가?
• RQ2 내재된 불확실성 또는 모호한 레이블링이 존재하는 작업에서 MHP 프레임워크는 단일 가설 모델 대비 성능을 어떻게 향상시키는가?
• RQ3 MHP 접근법은 의미 있는 예측 분산을 얼마나 잘 드러내며, 모델의 해석 가능성은 얼마나 향상되는가?
• RQ4 회귀, 다중 레이블 분류, 세그멘테이션을 포함한 다양한 작업으로 프레임워크가 얼마나 일반화되는가?
• RQ5 특히 이산적이고 고차원적인 출력 공간에서 가설 수를 늘릴 경우 성능에 어떤 영향을 미치는가?

주요 결과

• MHP 모델은 인간 자세 추정, 미래 프레임 예측, 다중 레이블 분류, 세그멘테이션을 포함한 네 가지 평가된 작업 전반에서 단일 가설 기반 모델보다 뛰어난 성능을 보였다.
• Pascal VOC 2012에서 13-MHP 모델은 87.0% mAP를 기록하여 SHP 기반 모델의 86.9%와 MCL의 평균 IoU 69.1%를 초월했다.
• COCO에서의 다중 레이블 분류 작업에서 5-MHP 모델은 67.8% mAP를 달성하여 SHP 기반 모델의 65.2%를 초월했으며, WARP 및 CNN-RNN과 같은 이전 방법보다도 뛰어났다.
• COCO에서 9-MHP 및 13-MHP 모델는 희박 레이블 상황에서 과도한 가설로 인한 오진 양성 결과로 인해 mAP가 약간 감소하는 경향을 보였으며, 이는 고 M일 때의 상충 관계를 시사한다.
• MHP 프레임워크는 MCL 대비 75%의 파rameter 수 감소(134.9M 대비 539.6M)를 이룩했고, 더 나은 세그멘테이션 성능(70.3% 평균 IoU 대비 69.1%)을 달성했다.
• 정성적 결과는 MHP 모델이 단일 클래스가 지배하는 경우에도 이미지 내에서 다수의 객체를 식별하고, 다양한 타당한 예측을 포괄함을 보여주었다.