[논문 리뷰] Who's Better, Who's Best: Skill Determination in Video using Deep Ranking.

Hazel Doughty, Dima Damen외 1명|arXiv (Cornell University)|2017. 03. 29.

Human Pose and Action Recognition참고 문헌 18인용 수 8

한 줄 요약

이 논문은 비디오 내 기술 평가를 위한 지도 학습 기반 딥 랭킹 접근법을 제안하며, 기술 차이를 모델링하기 위해 기술 차이가 나는 쌍에 대해 분류 가능한 특징을 학습하고, 유사한 기술을 가진 쌍에 대해 공유 특징을 학습하는 새로운 손실 함수를 도입한다. 이 방법은 다양한 작업 네 가지에서 비디오 쌍의 순서를 정확하게 정하는 데 70–83%의 정확도를 달성하여 자동 기술 평가에서 강건성과 일반화 능력을 입증한다.

ABSTRACT

We present a method for assessing skill from video, applicable to a variety of tasks, ranging from surgery to drawing and rolling pizza dough. We formulate the problem as pairwise (who's better?) and overall (who's best?) ranking of video collections, using supervised deep ranking. We propose a novel loss function that learns discriminative features when a pair of videos exhibit variance in skill, and learns shared features when a pair of videos exhibit comparable skill levels. Results demonstrate our method is applicable across tasks, with the percentage of correctly ordered pairs of videos ranging from 70% to 83% for four datasets. We demonstrate the robustness of our approach via sensitivity analysis of its parameters. We see this work as effort toward the automated organization of how-to video collections and overall, generic skill determination in video.

연구 동기 및 목표

• 비디오 콘텐츠에서 기술 결정을 위한 일반적인 방법을 개발하는 것.
• 다양한 도메인으로 일반화되는 방식으로 기술 수준에 따라 비디오를 순서 매기는 과제를 해결하는 것.
• 기술 평가를 쌍별(누가 더 나은가?) 및 종합적(누가 가장 좋은가?) 랭킹 문제로 공식화하는 것.
• 기술이 다를 경우와 비슷할 경우에 모두 적응 가능한 손실 함수를 설계하는 것.
• 다양한 비디오 작업 간의 강건성과 일반화 능력을 평가하는 것.

제안 방법

• 이 방법은 비디오 클립에서 특징 표현을 학습하기 위해 지도 학습 기반 딥 랭킹을 사용한다.
• 비디오 간 기술이 다를 경우 분류 가능한 특징을 유도하고, 기술이 유사할 경우 공유 특징을 유도하는 새로운 손실 함수를 도입한다.
• 인간이 애너테이션한 기술 순위가 있는 쌍으로 구성된 비디오 샘플을 기반으로 손실 함수를 엔드 투 엔드로 훈련한다.
• 딥 네ural 네트워크를 사용해 특징을 추출하며, 손실 함수는 상대적 기술 순서 정렬을 최적화한다.
• 외과 수술, 그림 그리기, 요리 준비와 같은 다양한 작업을 포함한 여러 데이터셋에서 모델을 훈련한다.
• 모델의 안정성과 파rameter의 강건성 평가를 위해 민감도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 프레임워크가 다양한 도메인에서 기술 수준에 따라 비디오를 효과적으로 순서 매울 수 있는가?
• RQ2 제안된 손실 함수가 기술이 다를 경우와 비슷할 경우의 비디오 쌍에 대해 특징 학습을 어떻게 향상시키는가?
• RQ3 이 방법이 다양한 기술 수준에서 비디오 쌍의 순서를 정확히 정하는 데 성능은 어떠한가?
• RQ4 이 방법은 하이퍼파rameter 변화와 데이터 분포 이동에 대해 얼마나 강건한가?
• RQ5 미세조정 없이도 모델이 새로운 비디오 작업에 일반화할 수 있는가?

주요 결과

• 이 방법은 네 가지 다양한 데이터셋에서 비디오 쌍의 순서를 정확하게 정하는 데 70–83%의 정확도를 달성한다.
• 제안된 손실 함수는 비디오 쌍 간의 기술 변동성에 따라 분류 가능한 특징과 공유 특징을 성공적으로 학습한다.
• 민감도 분석에서 모델은 파rameter 변화에 대해 강건한 성능을 보이며, 안정성을 입증한다.
• 외과 수술, 그림 그리기, 요리 준비와 같은 작업 간에 효과적으로 일반화되며, 넓은 적용 가능성을 보여준다.
• 이 방법은 기술 수준에 따라 how-to 비디오 컬렉션을 자동으로 정렬하는 데 기여한다.
• 결과는 특별히 설계된 손실 함수를 갖춘 딥 랭킹을 사용한 비디오에서 일반적인 기술 결정의 가능성을 확인한다.