[논문 리뷰] Exploiting Multi-modal Curriculum in Noisy Web Data for Large-scale Concept Learning

Junwei Liang, Lu Jiang외 2명|arXiv (Cornell University)|2016. 07. 16.

Text and Document Classification Technologies참고 문헌 6인용 수 4

한 줄 요약

이 논문은 수동 레이블링 없이 노이즈가 있는 웹 비디오 데이터(타이틀, 음성, 시각적 특징을 활용)를 통해 개념 검출기 학습을 위한 다중모달 교육과정 학습 프레임워크인 WEbly-Labeled Learning (WELL)을 제안한다. WELL은 반복적으로 더 쉬운, 더 확신 있는 샘플부터 선택하여 점차 노이즈가 더 심한 예제를 포함시키며, 대규모 비디오 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 깔끔한 데이터로 훈련된 지도 학습 모델과 비교할 만한 정확도를 보인다.

ABSTRACT

Learning video concept detectors automatically from the big but noisy web data with no additional manual annotations is a novel but challenging area in the multimedia and the machine learning community. A considerable amount of videos on the web are associated with rich but noisy contextual information, such as the title, which provides weak annotations or labels about the video content. To leverage the big noisy web labels, this paper proposes a novel method called WEbly-Labeled Learning (WELL), which is established on the state-of-the-art machine learning algorithm inspired by the learning process of human. WELL introduces a number of novel multi-modal approaches to incorporate meaningful prior knowledge called curriculum from the noisy web videos. To investigate this problem, we empirically study the curriculum constructed from the multi-modal features of the videos collected from YouTube and Flickr. The efficacy and the scalability of WELL have been extensively demonstrated on two public benchmarks, including the largest multimedia dataset and the largest manually-labeled video set. The comprehensive experimental results demonstrate that WELL outperforms state-of-the-art studies by a statically significant margin on learning concepts from noisy web video data. In addition, the results also verify that WELL is robust to the level of noisiness in the video data. Notably, WELL trained on sufficient noisy web labels is able to achieve a comparable accuracy to supervised learning methods trained on the clean manually-labeled data.

연구 동기 및 목표

• 비용이 많이 드는 수동 레이블링 없이 대규모 비디오 개념 학습의 과제를 해결하기 위해.
• 유튜브 및 플리커에서의 풍부하지만 노이즈가 많은 웹 메타데이터(타이틀, 설명, 음성, 이미지)를 활용해 약한 지도 학습을 수행하기 위해.
• 인간의 학습 방식을 모방하여 쉬운 예제에서 어려운 예제로 점차 진행되는 스케일러블하고 강건한 프레임워크를 개발하기 위해.
• 노이즈가 있는 웹 기반 레이블을 사용한 웹리-초기화 학습이 청소된 수동 레이블링 데이터로 훈련된 모델의 성능을 따라하거나 능가할 수 있는지 확인하기 위해.

제안 방법

• WELL은 교육과정 학습과 자기주도 학습 원리를 기반으로 하며, 모델이 점차 복잡한 샘플에서 학습하도록 한다.
• 웹 비디오에서 다중모달 특징(시각적, 텍스처, 음성)을 추출하여 이전 지식의 교육과정을 구성한다.
• 모델은 다양한 모odal 간 신뢰도 점수에 기반해 동적으로 훈련 샘플을 선택하며, 초기 훈련 단계에서는 높은 신뢰도와 낮은 노이즈의 예제를 우선순위로 한다.
• 모델 정확도와 샘플 선택을 균형 잡는 손실 함수를 사용하며, 각 반복에서 추가되는 샘플의 난이도를 제어하는 하이퍼파라미터 λ를 포함한다.
• 교육과정은 다중모달 일致성에 기반한다. 예를 들어, 이미지 분류, 음성 인식, 타이틀이 모두 '개'를 암시할 때.
• 훈련은 반복적으로 진행되며, λ는 시간이 지남에 따라 증가하여 더 모호하거나 노이즈가 많은 샘플을 포함시키며, 조기 정지 전략을 통해 잘못된 양성 예측의 영향을 줄인다.

실험 결과

연구 질문

• RQ1 수동 레이블링 없이 다중모달 웹 메타데이터를 효과적으로 활용해 정확한 비디오 개념 검출기를 훈련시킬 수 있는가?
• RQ2 다중모달 신뢰도 기반 교육과정 학습 전략이 노이즈가 많은 웹 데이터에서 성능 향상에 기여하는가?
• RQ3 다중모달 사전 지식을 활용한 웹리-초기화 학습이 청소된 수동 레이블링 데이터로 훈련된 지도 학습 모델의 성능을 따라하거나 능가할 수 있는가?
• RQ4 제안된 방법은 웹 비디오 레이블의 노이즈 수준이 다양할 경우에도 얼마나 강건한가?

주요 결과

• WELL은 2000시간의 웹리-레이블링된 데이터를 사용해 TRECVID MED 데이터셋에서 mAP 0.697을 달성했으며, 이는 이전 방법들보다 뚜렷이 뛰어난 성능이다.
• FCVID 데이터셋에서 WELL은 2000시간의 데이터로 mAP 0.650을 기록했으며, 오직 웹리-레이블링된 데이터만 사용할 경우 기준선인 rDNN-F(0.754)를 능가했다.
• YFCC100M에서 WELL은 P@3 0.667, P@5 0.663, P@10 0.649를 기록했으며, GoogleHNM 및 BabyLearning을 포함한 모든 기준선을 능가했다.
• 노이즈에 대한 강건성은 다음과 같이 입증되었다: 더 많은 데이터를 사용할수록 성능이 향상되었고, 노이즈가 많은 샘플의 포함을 연기함으로써 잘못된 양성 예측을 효과적으로 완화했다.
• WELL의 런타임은 기준선들과 유사했으며(FCVID에서 239개 개념으로 7시간), 반복적인 교육과정 메커니즘에도 불구하고 유사한 성능을 보였다.
• 정성적 분석을 통해 WELL이 의미적으로 일관된 점차 어려워지는 샘플을 선택하는 것으로 확인되었으며, 예를 들어 명확한 놀이터 장면에서부터 노래하거나 하이킹을 하는 복잡한 생일 행사 장면으로 점차 진전된다.