[논문 리뷰] Stochastic Multiple Choice Learning for Training Diverse Deep Ensembles

Stefan Lee, Senthil Purushwalkam외 4명|arXiv (Cornell University)|2016. 06. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 30

한 줄 요약

이 논문은 오라클 손실을 최소화하면서 각 모델이 서로 다른 가설에 전문화되도록 유도함으로써 다양한 딥 뉴럴 네트워크 앙상블을 훈련하는 데 사용되는 파라미터가 없는 SGD 기반 방법인 Stochastic Multiple Choice Learning(sMCL)을 제안한다. sMCL은 이미지 분류, 세분화, 캡션 생성 작업 전반에서 기존 방법들보다 유의미하게 낮은 오라클 오차를 달성하며, 작업의 모호성과 일치하는 해석 가능한 다양한 예측을 생성한다.

ABSTRACT

Many practical perception systems exist within larger processes that include interactions with users or additional components capable of evaluating the quality of predicted solutions. In these contexts, it is beneficial to provide these oracle mechanisms with multiple highly likely hypotheses rather than a single prediction. In this work, we pose the task of producing multiple outputs as a learning problem over an ensemble of deep networks -- introducing a novel stochastic gradient descent based approach to minimize the loss with respect to an oracle. Our method is simple to implement, agnostic to both architecture and loss function, and parameter-free. Our approach achieves lower oracle error compared to existing methods on a wide range of tasks and deep architectures. We also show qualitatively that the diverse solutions produced often provide interpretable representations of task ambiguity.

연구 동기 및 목표

• 모호한 인지 작업에서 모드를 향해 가는, 일반적인 출력을 내는 단일 예측 모델의 한계를 해결하기 위해.
• 하나의 예측이 아닌 여러 가능한 가설을 생성함으로써 인간 검토나 검증과 같은 후속 프로세스에서의 유용성을 향상시키기 위해.
• 특히 다중 모odal 또는 모호한 상황에서 고확률 예측의 공간을 공동으로 커버하는 딥 뉴럴 네트워크 앙상블을 훈련하기 위해.
• 앙상블 설정에서 오라클 손실을 직접 최적화하는 데 초점을 맞춘 단순하고 아키텍처에 관계없고 파라미터가 없는 훈련 방법을 개발하기 위해.
• 다양하고 다중 가설 기반의 출력이 실제 세계의 모호성을 더 잘 반영하고 실용적 시스템 성능을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 앙상블 출력에 대해 오라클 손실을 최소화하는 새로운 SGD 기반 최적화 전략인 Stochastic Multiple Choice Learning(sMCL)을 도입한다.
• ‘승자독점 경사 하강’ 메커니즘을 사용하여, 각 훈련 단계에서 오라클의 선택에 따라 가장 성능이 좋은 모델만 가중치를 갱신한다.
• 재학습이나 복잡한 하이퍼파ram터 튜닝 없이도 효율적으로 앙상블을 최적화하기 위해 확률적 블록 경사 하강법을 적용한다.
• 기존 딥 러닝 아키텍처에 새로운 sMCL 레이어를 통합하여, 모델 아키텍처나 작업별 손실 함수에 관계없이 적용 가능하게 한다.
• 각 앙상블 구성원이 솔루션 공간의 서로 다른 영역에 전문화되도록 하여 암묵적 경쟁을 통해 다양성을 촉진한다.
• 손실 함수나 아키텍처를 변경할 필요 없이 sMCL 레이어를 추가하기만 하면 표준 훈련 파ip라인과 호환된다.

실험 결과

연구 질문

• RQ1 간단하고 파라미터가 없는 훈련 방법이 딥 뉴럴 네트워크 앙상블의 다양성과 오라클 성능을 향상시킬 수 있는가?
• RQ2 직접 오라클 손실을 최적화하는 것이 표준 단일 출력 훈련에 비해 다중 모odal 예측의 커버리지가 더 우수한가?
• RQ3 명시적 정규화나 아키텍처 변경 없이도 sMCL이 앙상블 구성원 간의 전문화를 자동으로 유도할 수 있는가?
• RQ4 정확도, 훈련 효율성, 그리고 예측의 다양성 측면에서 sMCL은 기존의 MCL 방법들과 어떻게 비교되는가?
• RQ5 sMCL이 생성한 앙상블이 인간이 이해할 수 있는 해석 가능한 가설을 얼마나 잘 생성하여 실제 인지 작업의 모호성을 반영하는가?

주요 결과

• sMCL은 이미지 분류, 세분화, 이미지 캡션 생성 작업 전반에서 고전적 앙상블과 다른 강력한 베이스라인들(예: 5배 느린 MCL 절차 포함)보다 유의미하게 낮은 오라클 오차를 달성한다.
• 표준 모델이 동일하고 일반적인 출력으로 수렴하는 동안도, 이 방법은 동일한 이미지에 대해 다양한 캡션 구조를 포함한 다중 모달 신념을 반영하는 다양한 예측을 생성한다.
• 이미지 캡션 생성 작업에서 sMCL 앙상블은 장면의 모호성을 반영하는 다양한 내용이 풍부한 기술을 생성하며, 표준 모델이 이를 실패하는 상황에서도 고양이를 정확히 식별한다.
• 독립적으로 훈련된 sMCL 앙상블 구성원들은 명시적 지도 없이도 출력 공간의 다양한 차원(예: 객체 식별, 장면 구조, 행동 기술 등)에 자동으로 전문화된다.
• sMCL은 세밀한 객체 클래스나 희귀한 장면 구성과 같은 해석 공간의 모호하거나 밀도가 낮은 영역을 더 잘 포괄한다.
• 이 방법은 구현이 단순하며 하이퍼파ram터가 필요 없고, SGD로 훈련되는 모든 딥 러닝 아키텍처에 적용 가능하며, 오직 sMCL 레이어를 추가하기만 하면 된다.