[논문 리뷰] SelectiveNet: A Deep Neural Network with an Integrated Reject Option

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|2019. 01. 26.

Domain Adaptation and Few-Shot Learning인용 수 62

한 줄 요약

SelectiveNet은 예측을 수행하고 통합 거부 옵션을 통한 불참을 가능하게 하도록 엔드투엔드로 세 개의 헤드를 가진 심층 네트워크를 학습시키며, 분류 및 회귀 작업 전반에서 표준 신뢰도 기반 거절 방법보다 더 나은 위험-커버리지 트레이드오프를 달성한다.

ABSTRACT

We consider the problem of selective prediction (also known as reject option) in deep neural networks, and introduce SelectiveNet, a deep neural architecture with an integrated reject option. Existing rejection mechanisms are based mostly on a threshold over the prediction confidence of a pre-trained network. In contrast, SelectiveNet is trained to optimize both classification (or regression) and rejection simultaneously, end-to-end. The result is a deep neural network that is optimized over the covered domain. In our experiments, we show a consistently improved risk-coverage trade-off over several well-known classification and regression datasets, thus reaching new state-of-the-art results for deep selective classification.

연구 동기 및 목표

• 깊은 신경망에서 선택적 예측(거절 옵션)을 고무하고 커버리지 제약하에 불참을 최적화한다.
• 고정된 커버리지 목표 하에서 예측과 선택을 함께 학습하는 엔드-투-엔드 심층 아키텍처를 제안한다.
• 분류 및 회귀 작업에서 전통적인 신뢰도 기반 거절보다 우수한 위험-커버리지 성능을 입증한다.
• 예측 학습과 함께 커버리지를 강제하기 위한 interior-point 스타일 손실을 사용하는 확장 가능한 학습 방법을 제공한다.

제안 방법

• 공유 표현 위에 구성된 예측, 선택, 보조 헤드를 갖는 세-헤드 네트워크 SelectiveNet을 도입한다.
• 대상 커버리지를 내재된 interior-point 방식과 유사한 방법으로 강제하는 2차 페널티를 갖춘 예측 위험과 결합된 선택적 손실 L_(f,g)을 수식화한다.
• 주요 본문이 예측과 거절에 모두 유용한 특징을 학습하도록 선택적 손실과 보조 예측 손실의 볼록 결합으로 학습한다.
• 검증 세트에서 선택 헤드 출력의 임계값으로 테스트 커버리지를 더 잘 달성하도록 사후 보정 기법을 사용한다.
• 결합 매개변수 alpha를 0.5로, 제약 가중치 lambda를 32로 설정하여 손실 항 사이의 안정적인 트레이드오프를 제공한다.
• 분류(SVHN, CIFAR-10, Cats vs. Dogs) 및 회귀(Concrete Compressive Strength) 작업 모두에서 평가하고 SR 및 MC-dropout과 비교한다.

실험 결과

연구 질문

• RQ1 단일의 엔드투엔드로 학습된 네트워크가 특정 커버리지 요구사항에 대해 언제 거 abstain하고 무엇을 예측할지 학습할 수 있는가?
• RQ2 예측 헤드와 거절 헤드를 함께 학습하는 것이 사전에 학습된 모델에 별도의 신뢰도 기반 거절 옵션을 적용하는 것보다 더 나은 위험-커버리지 트레이드오프를 낳는가?
• RQ3 SelectiveNet은 표준 선택적 방법과 비교했을 때 분류와 회귀 모두에서 어떻게 성능을 보이는가?
• RQ4 학습 후 실제 테스트 커버리지를 목표 커버리징과 일치시키기 위한 효과적인 보정 전략은 무엇인가?

주요 결과

• SelectiveNet은 분류에서 CIFAR-10, SVHN, Cats vs. Dogs 전반에 걸쳐 Softmax Response(SR) 및 Monte Carlo dropout(MC-dropout) 대비 위험-커버리지 트레이드오프를 일관되게 개선한다.
• 회귀에서는 고임계치 아래의 커버리지 수준에서 MC-dropout을 능가하여 앙상블 방법에 대한 빠른 대안을 제공한다.
• 사후 학습 보정 방법은 테스트 커버리지를 목표치에 근접하게 하고, 보정된 SelectiveNet은 선택된 커버리지에 대해 거의 최적에 가까운 경향이 있다.
• 세-헤드 아키텍처는 본문이 정확한 예측과 효과적인 거절을 모두 지원하는 표현 형식을 학습하도록 가능하게 하며, 표현 분석으로 확인된다.