[논문 리뷰] Cultivating DNN Diversity for Large Scale Video Labelling

Mikel Bober-Irizar, Syed Sameed Husain외 2명|arXiv (Cornell University)|2017. 07. 13.

Multimodal Machine Learning Applications참고 문헌 21인용 수 9

한 줄 요약

이 논문은 대규모 비디오 레이블링에서 앙상블 성능을 햖스키기 위해 아키텍처의 다양성, 드롭아웃 비율 조정, 심지어 과적합까지도 활용하여 딥 네ural 네트워크(DNN)의 다양성을 기르는 방법을 제안한다. Yeti 팀의 다양한 앙상블은 YouTube-8M 카글 경진대회에서 7위를 기록했으며, 예상치 못한 학습 전략이 모델의 다양성과 최종 예측 정확도를 크게 향상시킨다는 점을 입증했다. 특히 어려운 잘못 분류된 예시에서 두드러진다.

ABSTRACT

We investigate factors controlling DNN diversity in the context of the Google Cloud and YouTube-8M Video Understanding Challenge. While it is well-known that ensemble methods improve prediction performance, and that combining accurate but diverse predictors helps, there is little knowledge on how to best promote & measure DNN diversity. We show that diversity can be cultivated by some unexpected means, such as model over-fitting or dropout variations. We also present details of our solution to the video understanding problem, which ranked #7 in the Kaggle competition (competing as the Yeti team).

연구 동기 및 목표

• 대규모 비디오 분류에서 딥 네럴 네트워크(DNN) 간의 다양성을 효과적으로 촉진하고 측정하는 방법을 조사하기 위해.
• 단일 대규모 DNN을 학습시키는 것만으로도 충분한지, 아니면 다양한 모델의 앙상블이 더 뛰어난 성능을 낼 수 있는지 판단하기 위해.
• 일반적인 방법 외에 실용적이고 직관에 어긋나는 방법을 통해 DNN 다양성을 기르는 방법을 특정하기 위해.
• 다양성이 다중 레이블 비디오 분류에서 극단적인 잘못된 예측을 줄이고 GAP20 지표를 향상시키는 데 어떤 영향을 미치는지 분석하기 위해.

제안 방법

• 구조적 다양성을 유도하기 위해 인플레이티드 3D 컨브넷과 ResNeXt를 포함한 다양한 아키텍처를 가진 여러 DNN을 훈련시기.
• 통계적 및 활성화 수준의 다양성을 유도하기 위해 서로 다른 DNN 간의 드롭아웃 비율을 조정하기.
• 특정 서브셋에서 과적합하도록 의도적으로 일부 DNN을 훈련시기. 이는 예상치 못하게 앙상블의 다양성에 기여했다.
• 다양성 인식 앙상블 전략을 사용하여 서로 다른 오류 패턴을 가진 여러 DNN을 조합하여 공동 오류를 줄이기.
• 오류 예측 예시 집합의 교집합과 합집합(ε_h,θ 및 Υ_H,θ)을 통해 다양성 측정하기. 극단적 오류의 경우 θ=0.9로 설정하기.
• 잘못 분류된 예시의 예측 점수 히스토그램을 분석하여 앙상블 내 예측 오류의 변화 추적하기.

실험 결과

연구 질문

• RQ1 표준 아키텍처나 데이터 기반 방법 외에 대규모 비디오 분류에서 DNN 다양성을 효과적으로 기를 수 있는 방법은 무엇인가?
• RQ2 DNN 앙상블에서 모델 과적합이 얼마나 다양성에 기여하는가?
• RQ3 DNN 간의 드롭아웃 비율을 다양하게 조정하면, 개별 모델이 열등하더라도 앙상블 성능을 크게 향상시킬 수 있는가?
• RQ4 다양한 DNN을 포함할 경우, 극단적인 잘못된 예측(예: 오류 >0.9) 감소에 어떤 영향을 미치는가?
• RQ5 YouTube-8M 비디오 이해 과제에서 단일 대규모 DNN 훈련이 다양성 있는 DNN 앙상블보다 성능이 뛰어나게 되는가?

주요 결과

• Yeti 팀의 다양한 DNN 앙상블은 YouTube-8M 카글 경진대회에서 최종 순위 7위를 기록하여 다양성 기반 설계의 효과성을 입증했다.
• 모든 DNN이 잘못 분류하는 예시 집합 Υ_H,θ의 크기는 더 많은 다양성이 있는 모델을 추가할수록 점차 감소하여 다양성 증가를 확인했다.
• 잘못된 예측의 합집합(Υ′_H,θ)은 앙상블의 확장에 따라 증가했으며, 이는 각 새로운 DNN이 고유한 오류 패턴을 기여했음을 확인했고, 다양성을 뒷받침했다.
• 히스토그램 분석 결과, 다섯 개의 다양성이 있는 DNN을 추가함으로써 극단적으로 잘못된 예측(오류 >0.9)의 수가 감소했고, 이들의 점수는 덜 해로운 값으로 이동하여 GAP20 지표 향상에 기여했다.
• 놀랍게도, 개별 DNN의 과적합이 앙상블 다양성에 긍정적인 기여를 했으며, 이러한 모델들은 서로 다른 오류를 내며 다른 모델들에 의해 보완되었다.
• 연구 결과, 개별 모델의 정확도가 유사하더라도 단일 대규모 DNN을 훈련시키는 것보다 신중하게 다양성이 확보된 앙상블이 더 뛰어난 성능을 낸다는 점을 확인했다.