[논문 리뷰] DMCL: Distillation Multiple Choice Learning for Multimodal Action Recognition

Nuno C. Garcia, Sarah Adel Bargal외 4명|arXiv (Cornell University)|2019. 12. 23.

Human Pose and Action Recognition참고 문헌 40인용 수 10

한 줄 요약

이 논문은 다중모odal 행동 인식을 위한 협동 학습을 가능하게 하는 새로운 지식 정복 프레임워크인 DMCL을 제안한다. 여기서 각 학습 단계에서 가장 높은 성능을 보이는 모odal별 네트워크가 다른 네트워크에게 지식을 정복한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, 더 작은 데이터셋에서는 최대 6%의 정확도 향상을 보이고, 테스트 시 일부 모달리티가 누락되어도 강인한 성능을 유지한다.

ABSTRACT

In this work, we address the problem of learning an ensemble of specialist networks using multimodal data, while considering the realistic and challenging scenario of possible missing modalities at test time. Our goal is to leverage the complementary information of multiple modalities to the benefit of the ensemble and each individual network. We introduce a novel Distillation Multiple Choice Learning framework for multimodal data, where different modality networks learn in a cooperative setting from scratch, strengthening one another. The modality networks learned using our method achieve significantly higher accuracy than if trained separately, due to the guidance of other modalities. We evaluate this approach on three video action recognition benchmark datasets. We obtain state-of-the-art results in comparison to other approaches that work with missing modalities at test time.

연구 동기 및 목표

• 테스트 시 일부 모달리티가 누락될 수 있는 상황에서 강인한 다중모달 행동 인식 모델을 훈련하는 데 도전한다.
• 다양한 모달리티 간 상호보완적 정보를 통해 개별 모달리티 전용 네트워크의 성능을 향상시키기 위해 협동 학습을 가능하게 한다.
• 빠르게 학습되는 모달리티 네트워크가 훈련을 지배하는 문제를 야기하는 단순한 다중선택 학습(MCL)의 한계를 극복한다.
• 훈련 중에 다양한 모달리티에서의 특권 정보를 활용하여, 추론 시 단일 모달리티 분류기의 일반화 능력을 향상시킨다.
• 재훈련 없이도 테스트 시 오직 하나의 모달리티(예: RGB)만 존재하더라도 높은 정확도를 유지할 수 있는 프레임워크를 개발한다.

제안 방법

• 각 훈련 샘플에서 분류 손실가 가장 낮은 모달리티 네트워크가 '선생'으로 작동하고, 나머지 네트워크에게 지식을 정복하는 협동 학습 파라다임을 도입한다.
• 식 (3)에 정의된 일반화된 정복 손실을 통해 선생 네트워크의 소프트 타겟을 학습을 지도하는 학생 네트워크에 활용한다.
• RGB, 깊이, 광학 흐름 등 서로 다른 모달리티 간에 다수의 선생, 다수의 학생 설정에서 지식 정복을 적용하여 다중모달 간 지식 전이를 가능하게 한다.
• 동적 선택 메커니즘을 적용: 각 순전파 단계에서 손실가 가장 낮은 모달리티가 선생으로 선택되어 가장 자신감 있는 모달리티가 다른 모달리티를 이끈다.
• 모든 모달리티 네트워크를 종합적으로 엔드 투 엔드 방식으로 함께 훈련하여, 각 네트워크가 자신이 가장 잘 수행하는 클래스나 샘플에 특화되도록 한다.
• 테스트 시 모달리티의 부분집합이 존재하더라도 추론이 가능하며, 정복된 지식 덕분에 일부 모달리티가 누락되어도 강인한 성능을 유지한다.

실험 결과

연구 질문

• RQ1 다중모달 행동 인식 작업에서 여러 모달리티 네트워크를 어떻게 협동적으로 훈련시켜 성능을 향상시킬 수 있는가?
• RQ2 표준 다중선택 학습(MCL)이 다중모달 데이터에 적용되었을 때의 실패 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 지식 정복이 특정 모달리티의 분류 강점을 다른 모달리티로 효과적으로 전이할 수 있는가, 특히 테스트 시 일부 모달리티가 누락되었을 경우에 대해 어떻게 성능을 향상시킬 수 있는가?
• RQ4 정복을 통한 협동 학습이 개별적으로 훈련된 모달리티 네트워크에 비해 정확도를 얼마나 향상시키는가?
• RQ5 DMCL 프레임워크의 성능는 다양한 데이터셋 크기와 모달리티 가용성 설정에서 어떻게 스케일링되는가?

주요 결과

• 테스트 시 오직 RGB 모달리티만 존재할 경우, NTU60 데이터셋에서 기준 모델 대비 6%의 절대 정확도 향상을 달성한다.
• UWA3DII 데이터셋에서, 테스트 시 오직 RGB 모달리티만 사용했을 때 DMCL은 78.39%의 정확도를 기록했으며, 이는 이전 SOTA 방법보다 1.3% 높은 성능이다.
• 깊이 모달리티만 사용했을 때, UWA3DII에서 DMCL은 81.87%의 정확도를 달성했으며, 기준 모델 대비 4.8% 향상되었다.
• NTU120 전체 데이터셋에서, 테스트 시 오직 광학 흐름 모달리티만 사용했을 때, DMCL은 86.44%의 정확도를 기록했으며, 기준 모델을 1.7% 초월했다.
• 정복 효과는 특히 작은 규모의 데이터셋(예: NTU60 및 NTU120 미니)에서 가장 두드러지며, 기준 모델 대비 최대 6%의 정확도 향상을 기록한다.
• 테스트 시 오직 단일 모달리티만 사용하더라도, UWA3DII, NWUCLA, NTU 등 세 가지 벤치마크 데이터셋에서 모두 최신 기술 성능(SOTA)을 달성한다.