[논문 리뷰] What Makes Training Multi-Modal Networks Hard?

Wei‐Yao Wang, Du Tran외 1명|arXiv (Cornell University)|2019. 05. 29.

Human Pose and Action Recognition참고 문헌 30인용 수 25

한 줄 요약

이 논문은 다중모달 네트워크가 더 많은 입력 정보를 가짐에도 불구하고 단일모달 네트워크보다 성능이 열 劣하는 이유로 과적합과 각 모달 간 일반화 속도의 불일치를 규명한다. 이를 바탕으로 각 모달의 과적합 행동에 따라 적응적으로 기울기를 조합하는 기법인 Gradient Blending을 제안하며, 이는 성능을 크게 향상시키고 다양한 다중모달 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Consider end-to-end training of a multi-modal vs. a single-modal network on a task with multiple input modalities: the multi-modal network receives more information, so it should match or outperform its single-modal counterpart. In our experiments, however, we observe the opposite: the best single-modal network always outperforms the multi-modal network. This observation is consistent across different combinations of modalities and on different tasks and benchmarks. This paper identifies two main causes for this performance drop: first, multi-modal networks are often prone to overfitting due to increased capacity. Second, different modalities overfit and generalize at different rates, so training them jointly with a single optimization strategy is sub-optimal. We address these two problems with a technique we call Gradient Blending, which computes an optimal blend of modalities based on their overfitting behavior. We demonstrate that Gradient Blending outperforms widely-used baselines for avoiding overfitting and achieves state-of-the-art accuracy on various tasks including fine-grained sport classification, human action recognition, and acoustic event detection.

연구 동기 및 목표

• 더 많은 입력 정보를 확보하고 있음에도 불구하고 다중모달 네트워크가 단일모달 네트워크보다 자주 성능이 열 劣하는 이유를 조사하는 것.
• 특히 과적합과 모달 간 일반화 속도의 불일치로 인한 다중모달 훈련에서의 성능 저하의 근본 원인을 규명하는 것.
• 모달 특화 과적합 행동에 따라 기울기 업데이트를 동적으로 조정하는 훈련 전략을 개발하여 일반화 성능을 향상시키는 것.
• 제안된 방법의 효과성을 다양한 다중모달 작업과 벤치마크, 예를 들어 미세 분류 및 동작 인식에서 평가하는 것.

제안 방법

• 이 방법은 백프로파게이션 중 각 모달의 개별 과적합 경향에 기반해 모달 특화 가중 조합을 계산하는 Gradient Blending 기법을 도입한다.
• 과적합 행동은 훈련 도중 검증 세트의 손실를 모니터링하여 추정되며, 이에 따라 모델은 각 모달에 대해 더 높거나 낮은 기울기 가중치를 적응적으로 할당할 수 있다.
• 블렌딩 가중치는 각 모달의 손실가 시간에 따른 상대적 안정성을 반영하는 미분 가능 메커니즘을 사용해 훈련 도중 동적으로 학습된다.
• 이 방법은 최적화 동역학을 각 모달 간에 분리함으로써 학습 중 간섭을 줄이면서도 종단 간 훈련을 유지한다.
• 이 기법은 아키텍처 수정 없이 다양한 다중모달 아키텍처에 적용 가능하므로 다양한 작업에 널리 적용 가능하다.
• 표준 베이스라인을 사용하여 평가하고, 미세 분류 및 청각 이벤트 탐지와 같은 다양한 벤치마크에서 최신 기술과 비교한다.

실험 결과

연구 질문

• RQ1 더 많은 입력 정보를 확보하고 있음에도 불구하고 다중모달 네트워크가 단일모달 네트워크보다 일관되게 성능이 열 劣하는 이유는 무엇인가?
• RQ2 모달 간 과적합 속도의 차이가 다중모달 훈련에서의 성능 저하에 얼마나 기여하는가?
• RQ3 모달 특화 과적합 행동을 고려한 동적 기울기 블렌딩 전략이 다중모달 학습에서 일반화 성능 향상에 기여할 수 있는가?
• RQ4 Gradient Blending은 과적합을 줄이고 다중모달 작업의 정확도를 향상시키는 데 있어 표준 최적화 및 정규화 기법보다 어떻게 비교되는가?

주요 결과

• 다양한 작업과 데이터셋에서 다중모달 네트워크는 더 많은 입력 정보를 확보하고 있음에도 불구하고 단일모달 네트워크보다 일관되게 성능이 열 劣한다.
• 성능 격차의 주요 원인은 모델 용량 증가로 인한 과적합과 모달 간 일반화 속도의 불일치이다.
• Gradient Blending은 각 모달의 과적합 행동에 따라 기울기 기여도를 동적으로 조정함으로써 과적합을 효과적으로 줄인다.
• 이 방법은 미세 분류, 인간 행동 인식, 청각 이벤트 탐지 벤치마크에서 최신 기준 성능을 달성한다.
• Gradient Blending은 다수의 정규화 및 최적화 기반 베이스라인을 초월하여 다중모달 모델의 일반화 성능 향상에 기여한다.
• 다양한 모달 조합과 작업에서 일관된 향상이 관찰되어 이 방법의 강건성을 입증한다.