[논문 리뷰] Learning to Learn from Noisy Web Videos

Serena Yeung, Vignesh Ramanathan외 4명|arXiv (Cornell University)|2017. 06. 09.

Human Pose and Action Recognition참고 문헌 27인용 수 8

한 줄 요약

이 논문은 분류기 점수 분포를 상태 표현으로 사용하여 잡음이 많은 웹 영상에서 데이터 레이블링 정책을 학습하는 강화학습 프레임워크를 제안한다. 이는 다양성과 의미적 드리프트 사이의 균형을 맞추는 데 기여한다. Sports-1M 벤치마크에서 이는 탐욕적 및 히우리스틱 기반 베이스라인보다 2.2% mAP 향상으로 나타났으며, 수동으로 조정된 규칙 없이도 액션 컨텍스트 및 하위카테고리 변동성과 같은 도메인 특화 지식을 학습한다.

ABSTRACT

Understanding the simultaneously very diverse and intricately fine-grained set of possible human actions is a critical open problem in computer vision. Manually labeling training videos is feasible for some action classes but doesn't scale to the full long-tailed distribution of actions. A promising way to address this is to leverage noisy data from web queries to learn new actions, using semi-supervised or "webly-supervised" approaches. However, these methods typically do not learn domain-specific knowledge, or rely on iterative hand-tuned data labeling policies. In this work, we instead propose a reinforcement learning-based formulation for selecting the right examples for training a classifier from noisy web search results. Our method uses Q-learning to learn a data labeling policy on a small labeled training dataset, and then uses this to automatically label noisy web data for new visual concepts. Experiments on the challenging Sports-1M action recognition benchmark as well as on additional fine-grained and newly emerging action classes demonstrate that our method is able to learn good labeling policies for noisy data and use this to learn accurate visual concept classifiers.

연구 동기 및 목표

• 수동 레이블링이 불가능한 긴 尾, 세분화 또는 희귀 액션 클래스로의 액션 인식 확장 문제를 해결하기 위해.
• 수동으로 조정된 데이터 레이블링 정책에 의존하고 도메인 특화 지식을 학습하지 못하는 기존 웹리-초기화된 방법의 한계를 극복하기 위해.
• 잡음이 많은 웹 검색 결과로부터 데이터 선택 정책과 시각적 분류기를 동시에 학습하는 통합 프레임워크를 개발하기 위해.
• 최소한의 레이블된 데이터와 잡음이 많은 웹 쿼리로 새로운 시각적 개념을 견고하고 확장 가능하게 학습할 수 있도록 하기 위해.

제안 방법

• 이 방법은 Q-학습을 사용하여 분류기 점수 분포를 기반으로 웹 검색 결과에서 양성 예제를 선택하는 정책을 훈련한다.
• 분류기와 Q-학습 에이전트를 번갈아가며 업데이트하는 공동 훈련 설정을 사용하며, 보상은 보류된 검증 세트에서의 최종 분류기 정확도에 의해 형상화된다.
• 상태 표현은 후보 영상들에 걸친 분류기 점수 분포로 정의되며, 이는 에이전트가 불확실성과 다양성을 평가하는 데 도움을 준다.
• 정책은 먼저 수동으로 레이블링된 소량의 클래스에서 훈련된 후, 테스트 시에 새로운, 알려지지 않은 클래스로 전이된다.
• 이 프레임워크는 데이터 수집과 모델 훈련을 하나의 종단 간 엔드 투 엔드 과정으로 통합하여, 분리된 반복 보완 과정을 피한다.
• 점수 분포 기반의 새로운 상태 표현은 에이전트가 의미적 드리프트를 탐지하고 회피하며, 다양하고 고질적인 양성 예제를 촉진하는 데 기여한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 잡음이 많은 웹 영상 데이터에서 예제의 다양성과 의미적 드리프트 사이의 균형을 효과적으로 학습할 수 있는가?
• RQ2 이러한 정책은 수동 재조정 없이 새로운, 알려지지 않은 액션 클래스로 일반화될 수 있는가?
• RQ3 예를 들어 인간의 운동 신호와 외관 신호를 구분하는 것과 같은 도메인 특화 지식을 학습하는 것이 긴 尾 액션에서의 분류기 성능을 향상시키는가?
• RQ4 낮은 데이터 예산 조건에서, 히우리스틱 또는 탐욕적 기반 베이스라인과 비교해 정확도와 견고성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 Sports-1M 벤치마크에서 100개의 양성 예제 예산 조건에서 탐욕적 및 히우리스틱 기반 베이스라인보다 2.2% mAP 향상되었다.
• '셀프리
• 의 경우, 쿼리 리콜(9/16 대비 6/16)과 영상 리콜(90% 대비 75%)이 높아, 더 나은 다양성과 노이즈 회피 능력을 보였다.
• '올림픽 조깅'의 경우, 메서드는 18개의 진짜 양성 쿼리 중 10개를 선택했고(탐욕적 기반은 7개), 아크로바틱스 및 고리 루틴과 같은 하위카테고리의 커버리지가 향상되었다.
• 정책은 의미적 드리프트를 성공적으로 회피했으며, 예를 들어 '보브슬레이'에 대해 비디오 게임 클립이나 너무 유사한 셀프리 영상을 선택하지 않았다. 이는 탐욕적 기반 베이스라인과의 대조를 보였다.
• MNIST에서는 통제된 환경에서의 타당성을 입증하여, 영상으로 확장하기 전에 핵심 RL 설정의 타당성을 검증했다.
• 모델은 명시적인 규칙 설계 없이도 도메인 특화 지식(예: 동물 관련 액션에 대해 운동 신호 우선순위 부여)을 학습했다.