[논문 리뷰] Mining YouTube - A dataset for learning fine-grained action concepts from webly supervised video data

Hilde Kuehne, Ahsan Iqbal외 2명|arXiv (Cornell University)|2019. 06. 03.

Human Pose and Action Recognition참고 문헌 35인용 수 11

한 줄 요약

이 논문은 자동으로 YouTube 영상에서 자막 기반 약한 지도 학습을 사용해 웹 기반으로 감독을 받는 대규모 데이터셋을 제안하며, 인간의 주석을 제거함으로써 세분화된 동작 인식을 수행한다. 노이즈가 많은 데이터에서 클래스의 모호함을 해결하기 위해 의미적 계층적 구조를 제안하며, 이는 20만 개 샘플로 구성된 데이터셋에서 IoU 기준으로 3.5% 이상, IoD 기준으로 12% 이상의 정확도 향상을 보여준다.

ABSTRACT

Action recognition is so far mainly focusing on the problem of classification of hand selected preclipped actions and reaching impressive results in this field. But with the performance even ceiling on current datasets, it also appears that the next steps in the field will have to go beyond this fully supervised classification. One way to overcome those problems is to move towards less restricted scenarios. In this context we present a large-scale real-world dataset designed to evaluate learning techniques for human action recognition beyond hand-crafted datasets. To this end we put the process of collecting data on its feet again and start with the annotation of a test set of 250 cooking videos. The training data is then gathered by searching for the respective annotated classes within the subtitles of freely available videos. The uniqueness of the dataset is attributed to the fact that the whole process of collecting the data and training does not involve any human intervention. To address the problem of semantic inconsistencies that arise with this kind of training data, we further propose a semantical hierarchical structure for the mined classes.

연구 동기 및 목표

• 완전히 감독된 동작 인식 데이터셋의 한계를 해결하기 위해, 이러한 데이터셋은 제작에 비용이 많이 들며 실세계 응용에 스케일업되지 못한다는 점.
• 인간 주석 기반 클립이나 시간 경계 없이도 자동으로 대규모 데이터 수집을 가능하게 하기 위해.
• 세분화된 동작 클래스 간의 의미적 관계를 모델링하여 웹에서 수집한 데이터의 노이즈와 모호함을 완화하기 위해.
• 약한 지도 학습 기반 실세계 영상 데이터에서 계층적 추론의 효과를 평가하기 위해.

제안 방법

• 데이터셋은 먼저 250개의 요리 영상에 대해 512개의 세분화된 동작 클래스를 수동으로 주석 처리하여 총 10,412개의 샘플을 확보한다.
• 학습 데이터는 클래스 이름을 검색하여 자동으로 YouTube에서 자막을 마이닝함으로써 확보되며, 총 21,056개의 영상에서 약 20만 개의 클립을 확보한다.
• 512개의 동작 클래스에 대해 일반적인 동작(예: '자르기')을 내부 노드로, 구체적인 동작(예: '토마토 자르기')을 잎 노드로 하는 의미적 계층 트리를 구축한다.
• 공동 확률 기반의 계층적 추론을 적용하며, 상향식(부모 응답이 자식 기반)과 하향식(자식 응답이 부모 기반)을 모두 사용하고, 융합을 통해 강건성을 향상시킨다.
• 마이닝된 데이터로 훈련된 딥 러닝 모델(예: MLP)을 사용하며, 고정된 테스트 세트(250개 영상)에서 평가한다.
• 시간적 동작 로컬라이제이션 성능은 IoU와 IoD로 측정되며, 데이터 스케일과 추론 전략에 대한 분석도 포함된다.

실험 결과

연구 질문

• RQ1 YouTube 자막에서 추출한 약한 지도 학습 기반 웹 마이닝 영상 데이터는 세분화된 동작 인식 모델 훈련에 효과적으로 사용될 수 있는가?
• RQ2 동작 클래스에 대한 의미적 계층적 구조의 포함 여부가 노이즈가 많고 모호한 학습 데이터 상황에서 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 수준이 높은 상황에서도 웹 마이닝된 학습 데이터의 스케일을 늘리면 인식 성능 향상이 이루어지는가?
• RQ4 상향식, 하향식, 병합된 다양한 계층적 추론 전략 간의 정밀도 차이가 로컬라이제이션 정확도에 어떤 영향을 미치는가?

주요 결과

• 노이즈가 많고 모호한 20만 개의 웹 마이닝 샘플로 훈련하더라도, 10만 개 샘플 대비 평균 IoU가 2% 이상 향상되어 스케일의 이점이 노이즈가 존재하는 상황에서도 입증된다.
• 상향식과 하향식 공통 확률 기반의 병합 추론 전략은 표준 추론 대비 IoU를 3.5% 이상, IoD를 12% 이상 향상시켜 강건성 향상 효과가 뚜렷하다.
• 최고의 성능는 상향식과 하향식 추론을 병합한 전략에서 달성되며, 이는 다중 수준의 일致성 향상이 노이즈가 많은 환경에서 로컬라이제이션 정확도 향상에 기여함을 시사한다.
• 의미적 계층적 접근은 동음이의어나 다의어와 같은 의미적 불일치의 영향을 효과적으로 줄여 모델의 일반화 능력을 향상시킨다.
• 이 데이터셋은 인간 주석 기반 클립 없이도 실제 세계의 정제되지 않은 영상 데이터로 훈련이 가능하게 하여 대규모 동작 학습의 가능성을 입증한다.
• 심지어 최신 기술의 특징과 아키텍처조차도 이 데이터셋에서는 어려움을 겪는다. 이는 실세계적 약한 지도 학습 기반 동작 인식의 과제를 강조한다.