[논문 리뷰] Confident Multiple Choice Learning

Kimin Lee, Chang Ho Hwang외 2명|arXiv (Cornell University)|2017. 06. 12.

Pharmacy and Medical Practices인용 수 18

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 새로운 앙상블 방법인 확신 있는 다중 선택 학습(CMCL)을 제안한다. 이 방법은 예측의 과신을 줄이면서도 높은 다양성과 정확도를 유지한다. 확신 있는 온톨로지 손실, 특징 공유, 확률적 레이블링을 도입함으로써, CIFAR-10과 SVHN에서 각각 14.05% 및 6.60%의 상대적 오류 감소를 달성하고, iCoseg 분할 작업에서는 최대 6.77%의 향상을 이룬다.

ABSTRACT

Ensemble methods are arguably the most trustworthy techniques for boosting the performance of machine learning models. Popular independent ensembles (IE) relying on naive averaging/voting scheme have been of typical choice for most applications involving deep neural networks, but they do not consider advanced collaboration among ensemble models. In this paper, we propose new ensemble methods specialized for deep neural networks, called confident multiple choice learning (CMCL): it is a variant of multiple choice learning (MCL) via addressing its overconfidence issue.In particular, the proposed major components of CMCL beyond the original MCL scheme are (i) new loss, i.e., confident oracle loss, (ii) new architecture, i.e., feature sharing and (iii) new training method, i.e., stochastic labeling. We demonstrate the effect of CMCL via experiments on the image classification on CIFAR and SVHN, and the foreground-background segmentation on the iCoseg. In particular, CMCL using 5 residual networks provides 14.05% and 6.60% relative reductions in the top-1 error rates from the corresponding IE scheme for the classification task on CIFAR and SVHN, respectively.

연구 동기 및 목표

• 낮은 온톨로지 오차에도 불구하고 높은 상위-1 정확도가 낮은 다중 선택 학습(MCL)의 과신 문제를 해결하기 위해.
• 다양하고 확신 있는, 높은 품질의 예측을 생성하는 딥 뉴럴 네트워크를 위한 새로운 앙상블 학습 체계를 개발하기 위해.
• 두 번째 단계에서 단순한 투표나 평균화를 사용할 수 있도록 기존의 독립적 앙상블(IE)과 원본 MCL을 초월하는 성능을 달성하기 위해.
• 저비용의 계산 복잡도를 유지하면서도 예측 정확도를 크게 향상시키는 학습 방법을 설계하기 위해.

제안 방법

• 과신을 줄이기 위해 표준 MCL 손실과 예측 분포에서 균일 분포로의 쿨백-라이블러 발산을 모두 최소화하는 새로운 손실 함수인 확신 있는 온톨로지 손실을 도입한다.
• 첫 번째 풀링 레이어 이전의 비선형 활성화된 특징을 앙상블 모델 간에 공유함으로써 예측을 정규화하고 일반화 능력을 향상시킨다.
• 최적화 과정 중에 레이블을 무작위로 할당하여 앙상블 구성원 간의 다양성을 높이는 확률적 레이블링을 적용한다.
• 새로운 손실 함수 하에 모델을 효율적으로 학습하기 위해 확률적 교대 최소화를 사용하며, MCL 또는 IE와 유사한 학습 복잡도를 유지한다.
• 각 개별 모델이 서로 다른 데이터 부분집합에 특화되도록 앙상블 아키텍처를 설계하여, 명시적 게이팅 없이도 전문가의 혼합처럼 작동하도록 한다.
• ResNet, VGGNet, GoogLeNet, FCNs 등 다양한 아키텍처에 적용했으며, 이미지 분류 및 분할 작업 전반에서 일관된 성능 향상을 기록했다.

실험 결과

연구 질문

• RQ1 수정된 MCL 프레임워크는 깊이 있는 신경망 앙상블의 과신을 줄이면서도 높은 예측 다양성을 유지할 수 있는가?
• RQ2 과신을 방지하는 확신 있는 온톨로지 손실을 도입함으로써 앙상블 모델의 상위-1 정확도가 향상되는가?
• RQ3 특징 공유와 확률적 레이블링은 이미지 분류 및 분할 작업에서 앙상블 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 CMCL은 다양한 벤치마크에서 기존의 독립적 앙상블(IE)과 원본 MCL을 모두 초월할 수 있는가?
• RQ5 실제 시각 작업에서 상위-1 오차율을 크게 향상시키는 동안 CMCL는 얼마나 낮은 온톨로지 오차율을 유지할 수 있는가?

주요 결과

• 5개의 ResNet-20 모델을 사용하여 CIFAR-10에서 독립적 앙상블 대비 상위-1 오차율이 14.05% 상대적으로 감소한다.
• SVHN에서는 해당 독립적 앙상블 기반선 대비 상위-1 오차율이 6.60% 상대적으로 감소한다.
• iCoseg의 전경-배경 분할 작업에서는 5개의 FCN 모델을 사용한 IE 대비 상위-1 오차율이 최대 6.77% 상대적으로 감소한다.
• CMCL는 원본 MCL 수준의 낮은 온톨로지 오차율을 유지하며, 과신이 감소했음에도 불구하고 예측의 다양성이 유지됨을 시사한다.
• 특징 공유가 CMCL에 미치는 영향은 IE보다 더 크며, 앙상블 크가 커질수록 CMCL의 성능 향상도 증가하는 반면, IE는 그렇지 않다.
• 시각적 분석 결과, CMCL로 학습된 개별 모델은 서로 다른 이미지 유형에 특화되어 있음을 확인할 수 있다(예: 한 모델은 '랍스터'에 집중하고, 다른 모델은 '오리'에 집중함). 반면 IE 모델은 이러한 특화 현상이 없다.