[논문 리뷰] Learning to Localize and Align Fine-Grained Actions to Sparse Instructions

Meera Hahn, Nataniel Ruiz외 3명|arXiv (Cornell University)|2018. 09. 22.

Multimodal Machine Learning Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 제안된 프레임워크를 통해 염두에 두지 않은 첫인성 비디오에서 흐린 지시어와 세분화된 동작을 정렬하기 위해 시각적 자극을 활용하여 행동 제안을 생성하고, 이후 물체 인식과 언어적 정렬을 수행한다. 이는 EGTEA Gaze+ 및 Bristol Egocentric Object Interactions 데이터셋에서 최신 기술 수준을 넘어선 성능을 달성하며, 첫인성 비디오에 특화된 개선된 행동 제안 생성 덕분에 기준 방법 대비 35.34% 향상된 성능을 기록한다.

ABSTRACT

Automatic generation of textual video descriptions that are time-aligned with video content is a long-standing goal in computer vision. The task is challenging due to the difficulty of bridging the semantic gap between the visual and natural language domains. This paper addresses the task of automatically generating an alignment between a set of instructions and a first person video demonstrating an activity. The sparse descriptions and ambiguity of written instructions create significant alignment challenges. The key to our approach is the use of egocentric cues to generate a concise set of action proposals, which are then matched to recipe steps using object recognition and computational linguistic techniques. We obtain promising results on both the Extended GTEA Gaze+ dataset and the Bristol Egocentric Object Interactions Dataset.

연구 동기 및 목표

• 비나레이티드되지 않은 첫인성 비디오에서 흐린, 모호한 레시피 단계와 세분화된 동작을 정렬하는 문제를 해결하기 위해.
• 저자원, 흐린 텍스트 환경에서 자연어 기술과 시각적 비디오 콘텐츠 사이의 의미적 격차를 극복하기 위해.
• 첫인성 자극을 활용해 행동 세그먼트를 국소화한 후 물체 검출 및 NLP를 통해 레시피 단계와 정렬하는 두 단계 파ip을 개발하기 위해.
• 손, 머리, 시선 운동 자극을 활용해 첫인성 비디오에 특화된 행동 제안 품질을 향상시키기 위해.
• 비지도 언어 기반 참조 해결을 통해 오브젝트 검출 오류와 흐린 언어적 기술에 대한 저항력을 확보하고 정렬 정확도를 향상시키기 위해.

제안 방법

• 손 움직임, 머리 운동, 눈의 시선을 감지하여 첫인성 비디오에서 행동 발생 및 종료 시점을 식별함으로써 행동 제안을 생성한다.
• 개체 세분화 및 물체 검출 모델을 사용하여 각 행동 세그먼트 동안 다루어지는 주요 및 보조 물체를 식별한다.
• 언어적 분석을 통해 레시피 단계를 의미적 구성요소로 분해한다: 동작(빨강), 주요 물체(파랑), 보조 물체(grayscale).
• 행동-물체 쌍과 레시피 단계 사이의 시간적 겹침과 단어 임베딩 기반 의미 유사도를 조합한 다중 모odal 유사도 점수를 계산한다.
• 비지도 언어 기반 참조 해결을 적용하여 흐린 레시피 텍스트 내 모호한 언급을 해결하고 정렬 정확도를 향상시킨다.
• 지표 프레임-단계 애너테이션 없이 EGTEA Gaze+ 및 Bristol Egocentric Object Interactions 데이터셋에서 파이프라인을 종단 간 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 손 움직임, 머리 운동, 시선과 같은 첫인성 자극이 흐린 지시어 정렬을 위한 첫인성 비디오에서 행동 제안 품질을 향상시키는가?
• RQ2 레시피 텍스트의 흐린 정도가 밀도 높은 캡션 또는 녹음된 비디오 설정과 비교할 때 비디오-텍스트 정렬 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 명시적인 프레임-단계 감독 없이 물체 인식과 언어 유사도가 정렬 정확도 향상에 얼마나 기여하는가?
• RQ4 오브젝트 검출 오류와 흐린 언어 기반 참조가 있는 흐린 레시피에서 정렬 시스템의 저항력은 어느 정도인가?
• RQ5 각 구성요소(행동 제안, 물체 검출, 유사도 점수 계산)가 전체 정렬 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 BEOID에서 mAP 0.7641, EGTEA에서 mAP 0.4905를 기록하며 이는 이전의 비디오-텍스트 정렬 기준 방법보다 유의미하게 뛰어난 성능이다.
• 일반적인 행동 제안 대비 첫인성 자극 기반 제안으로 교체했을 때 mAP가 35.34% 절대적 향상되었으며, 이는 작업 특화 행동 제안 생성의 가치를 입증한다.
• 지표 행동 세그먼트만 사용했을 때 BEOID에서 6%, EGTEA에서 7% 향상되었으며, 이는 제안된 행동 제안 방법이 매우 효과적이고 최적에 가깝다는 것을 시사한다.
• 오브젝트 인식 오류에 대해서도 저항력이 있으며, 지표 레이블 대비 예측된 오브젝트를 사용했을 때 성능 저하가 미미하여 강력한 일반화 능력을 보인다.
• 제거 실험 결과, 시간적 유사도와 의미적 유사도 구성요소 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 양 데이터셋에서 mAP가 40% 이상 감소한다.
• BEOID는 레시피의 흐린 정도가 더 높음에도 불구하고 EGTEA보다 성능이 뛰어나며, 이는 BEOID에서 더 높은 레시피 단계 밀도 덕분에 더 많은 맥락적 단서를 제공하기 때문으로 보인다.