[논문 리뷰] What Makes Training Multi-Modal Classification Networks Hard?

Wei‐Yao Wang, Du Tran외 1명|arXiv (Cornell University)|2019. 05. 29.

Human Pose and Action Recognition참고 문헌 63인용 수 28

한 줄 요약

이 논문은 다중모달 네트워크에서 유일모달 모델이 종종 공동 모델을 능가하는 반직관적인 성능 저하의 핵심 원인으로 과적합과 모달 간 일반화의 불일치를 규명한다. 이에 따라 모달 특화 과적합 행동에 기반해 감독 신호를 최적으로 조합하는 Gradient-Blending (G-Blend)을 제안하며, Kinetics, EPIC-Kitchens, AudioSet에서 최신 기준(SOTA) 성능을 달성하여 기준 모델 및 SOTA 방법에 비해 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Consider end-to-end training of a multi-modal vs. a single-modal network on a task with multiple input modalities: the multi-modal network receives more information, so it should match or outperform its single-modal counterpart. In our experiments, however, we observe the opposite: the best single-modal network always outperforms the multi-modal network. This observation is consistent across different combinations of modalities and on different tasks and benchmarks. This paper identifies two main causes for this performance drop: first, multi-modal networks are often prone to overfitting due to increased capacity. Second, different modalities overfit and generalize at different rates, so training them jointly with a single optimization strategy is sub-optimal. We address these two problems with a technique we call Gradient Blending, which computes an optimal blend of modalities based on their overfitting behavior. We demonstrate that Gradient Blending outperforms widely-used baselines for avoiding overfitting and achieves state-of-the-art accuracy on various tasks including human action recognition, ego-centric action recognition, and acoustic event detection.

연구 동기 및 목표

• 엔드 투 엔드로 훈련된 다중모달 네트워크가 더 많은 입력 정보를 확보하고 있음에도 불구하고 종종 최고의 유일모달 모델보다 성능이 열 劣하는 이유를 탐구하는 것.
• 특히 모달 간 과적합과 다른 일반화 속도가 공동 훈련에서 성능 저하의 근본 원인임을 진단하는 것.
• 모달 특화 과적합 행동에 기반해 동적으로 감독 신호를 균형 조절하는 원칙적인, 아키텍처에 구애받지 않는 방법을 개발하는 것.
• 기존 정규화 및 융합 기법이 문제를 해결하지 못함을 입증하고, 새로운 훈련 철학이 필요함을 보여주는 것.

제안 방법

• 다양한 모달 간 과적합 행동을 측정하고 비교하기 위해 과적합 대 일반화 비율(OGR)을 정량적 지표로 제안한다.
• 각 모달의 OGR 값을 기반으로 최적의 동적 조합을 계산하는 훈련 체계인 Gradient-Blending (G-Blend)을 도입하여 전체 과적합을 최소화한다.
• 학습 중에 조정 가능한 블렌딩 계수를 사용하여 일반화 성능이 우수한 모달을 우선시함으로써, 각 모달의 최적화 역학을 효과적으로 분리한다.
• 최종 레이어에서 모달 특화 특징을 연결하여 후기 융합 설정에 G-Blend를 적용함으로써, 모달 특화 기울기 가중치를 갖는 엔드 투 엔드 훈련을 가능하게 한다.
• 표준 역전파에 통합 가능한 미분 가능한 블렌딩 전략을 활용하여, 모달 특화 과적합 프로파일을 존중하면서도 공동 최적화를 허용한다.
• 다양한 백본과 융합 전략을 사용하여 Kinetics, EPIC-Kitchens, AudioSet 등 여러 벤치마크에서 검증하였으며, 아키텍처 변경 없이도 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 다중모달 네트워크가 더 많은 입력 정보를 확보하고 있음에도 불구하고 유일모달 네트워크보다 종종 성능이 열 劣하는 이유는 무엇인가?
• RQ2 모달 간 과적합과 다른 일반화 속도가 공동 훈련에서 성능 저하에 얼마나 기여하는가?
• RQ3 다른 과적합 행동을 보이는 다수의 모달을 효과적으로 균형 조절할 수 있는 통합 최적화 전략이 가능한가?
• RQ4 원칙적이고 학습 가능한 감독 신호 블렌딩 전략이 기존 정규화 및 융합 기법보다 일반화 성능을 향상시키고 성능을 뛰어넘을 수 있는가?

주요 결과

• Kinetics에서 G-Blend는 72.6%의 top-1 정확도를 달성하여 최고의 유일모달 RGB 모델(72.6%)과 동률을 이루며, 후기 융합 기준 모델보다 최대 2.6%p 향상되었다.
• EPIC-Kitchens에서 G-Blend는 미리보지 않은 주방 도전 과제에서 2위, 보여진 주방 도전 과제에서 4위를 기록했으며, 더 적은 모달 수와 단일 모델을 사용함에도 불구하고 앙상블 모델을 능가했다.
• AudioSet에서 G-Blend는 0.418 mAP와 0.975 mAUC를 기록하여, Multi-level Attn. 및 TAL-Net과 같은 최신 기준 방법보다 각각 5.8%와 5.5% 높은 성능을 보였으며, 비디오당 10개 클립만을 사용함에도 불구하고 성능을 확보했다.
• G-Blend는 Kinetics에서 단순한 후기 융합 A/V 기준 모델보다 1.4% 향상되었고, SlowFast와 동등한 성능을 기록하면서도 2배 빠른 속도를 기록했다.
• 사전 훈련된 특징에서 미세조정을 수행했을 때, G-Blend는 Kinetics에서 83.3%의 top-1 정확도를 달성하여, 광학 플로우 없이도 사전 훈련 없이도 새로운 최신 기준(SOTA)을 수립했다.
• 이 방법은 아키텍처 및 작업에 관계없이 일반화 가능하며, RGB와 포인트 클라우드 입력을 융합할 때 3D 객체 검출 분야 등 다른 도메인으로도 적용 가능하다.