[논문 리뷰] Multimodal Co-Training for Selecting Good Examples from Webly Labeled Video

Ryota Hinami, Junwei Liang외 2명|arXiv (Cornell University)|2018. 04. 17.

Machine Learning and Data Classification참고 문헌 11인용 수 5

한 줄 요약

이 논문은 다중모달 공훈련(Multimodal Co-Training, MMCo)을 제안하며, 웹에서 수집된 노이즈가 많은 레이블이 부착된 영상에서 고품질의 훈련 예제를 선택하기 위한 단순하면서도 효과적인 방법을 제공한다. 다양한 모odal(예: 영상, 음성, 텍스트) 간에 분류기를 동시에 훈련시키고 공통된 투표를 통해 예측 성능을 향상시킨다. MMCo는 예제 선택 및 분류 성능을 크게 향상시키며, FCVID에서 0.70 정밀도와 0.80 재현율을 달성하여 단일모달 및 기초 공훈련 방법보다 뛰어난 성능을 보였다. 이는 서로 보완되는 모달 간의 정보를 활용하여 어려운데도 올바른 예제를 식별함으로써 달성되었다.

ABSTRACT

We tackle the problem of learning concept classifiers from videos on the web without using manually labeled data. Although metadata attached to videos (e.g., video titles, descriptions) can be of help collecting training data for the target concept, the collected data is often very noisy. The main challenge is therefore how to select good examples from noisy training data. Previous approaches firstly learn easy examples that are unlikely to be noise and then gradually learn more complex examples. However, hard examples that are much different from easy ones are never learned. In this paper, we propose an approach called multimodal co-training (MMCo) for selecting good examples from noisy training data. MMCo jointly learns classifiers for multiple modalities that complement each other to select good examples. Since MMCo selects examples by consensus of multimodal classifiers, a hard example for one modality can still be used as a training example by exploiting the power of the other modalities. The algorithm is very simple and easily implemented but yields consistent and significant boosts in example selection and classification performance on the FCVID and YouTube8M benchmarks.

연구 동기 및 목표

• 수동 애너테이션 없이 매우 노이즈가 많은 웹 기반 영상 데이터에서 신뢰할 수 있는 양성 예제를 선택하는 데 도전하는 것.
• 기존 자기학습 방법이 단지 쉬운, 확신 있는 샘플들에 의존함으로써 어려운 예제를 학습하지 못하는 한계를 극복하는 것.
• 다양한 모달 간의 상호보완적 정보를 활용하여 웹 기반 감독 영상 분류 성능을 향상시키는 것 (예: 시각적, 청각적, 텍스트 메타데이터).
• 대규모 영상 데이터셋(예: YouTube8M)을 배치 처리 없이도 효율적으로 처리할 수 있는 확장성 있고 온라인 학습 알고리즘을 설계하는 것.
• 다중모달 공통의견이 약한 감독 영상 학습에서 더 나은 일반화 및 노이즈에 대한 강건성을 가능하게 한다는 것을 입증하는 것.

제안 방법

• MMCo는 공유 손실 함수를 사용하여 RGB, 운동, 음성, 메타데이터 등의 모달 전용 분류기를 함께 훈련시킨다.
• 예제 선택은 공통의견 기반으로 이루어지며, 다수의 모달에서 예측 점수가 임계값을 초과할 경우 해당 예제가 선택된다.
• 투표 메커니즘(예: 모달 점수의 최대값 또는 평균값)을 사용하여 신뢰할 수 있는 양성 예제를 식별하며, 한 모달에서 어려운 예제가 다른 모달의 지지로 인해 수용될 수 있다.
• 웹 레이블러 영상 학습(online WELL)의 온라인 학습 변종을 도입하여 미니배치 단위로 샘플 가중치와 모델 파라미터를 업데이트함으로써 수백만 개의 영상에 스케일링할 수 있도록 한다.
• 확률적 경사 하강법을 사용한 엣지 투 엔드 훈련을 지원하여 대규모 데이터셋에 효율적으로 적응할 수 있다.
• 이 방법은 모듈러하고 확장 가능하여 다양한 모달의 조합을 자유롭게 조합하고 기존 영상 분류 파ipeline에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 단일모달 또는 단일모달 자기학습 방법에 비해 다중모달 공통의견이 노이즈가 많은 웹 기반 영상 데이터에서 고품질의 훈련 예제를 선택하는 데 효과적인가?
• RQ2 예를 들어 텍스트 메타데이터, 음성, 시각적 특징 등의 보완적인 모달을 포함할 경우, 약한 감독 영상 분류의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 간단한 공통의견 기반 공훈련 전략이 기존 자기학습 방법이 놓친 어려운 예제를 효과적으로 학습할 수 있는가?
• RQ4 훈련 데이터의 레이블 노이즈 수준이 다양할 경우, 제안된 방법의 성능는 어떻게 되는가?
• RQ5 온라인 WELL 확장 기능은 YouTube8M와 같은 대규모 영상 데이터셋에 스케일링하면서도 성능을 유지할 수 있는가?

주요 결과

• MMCo는 FCVID 벤치마크에서 예제 선택 성능을 0.66 정밀도와 0.64 재현율에서 0.70 정밀도와 0.80 재현율로 향상시켰다.
• 영상 콘텐츠(P3D 특징)와 메타데이터 모달의 조합이 가장 높은 성능를 보였으며, 단일모달 기준선보다 뚜렷한 성능 향상을 보였다.
• 영상과 메타데이터 모달을 모두 사용한 경우(예: Concat + Metadata)는 더 복잡한 다중모달 조합과 유사한 성능를 달성하여 비용 대비 정확도의 좋은 균형을 이뤘다.
• 노이즈 강건성도 뛰어나, 고노이즈 수준(0.9, 90%의 잘못된 양성 예측)에서도 mAP 0.63을 유지했다.
• YouTube8M 데이터셋에서 MMCo는 전체 다중모달 융합을 통해 테스트 mAP 0.770을 달성하여 단일모달 및 부분 다중모달 기준선을 모두 초월했다.
• 정성적 결과에서는 MMCo가 메타데이터를 활용해 유사해 보이지만 잘못된 영상(예: 잘못된 레이블)을 효과적으로 거부하는 데 성공했으며, 기준선 방법들은 자주 잘못 분류했다.