[논문 리뷰] Trespassing the Boundaries: Labeling Temporal Bounds for Object Interactions in Egocentric Video

Davide Moltisanti, Michael Wray외 2명|arXiv (Cornell University)|2017. 03. 27.

Human Pose and Action Recognition참고 문헌 32인용 수 4

한 줄 요약

이 논문은 세 개의 데이터셋에서 엔드투엔드 개시 동작 상호작용의 시간 경계 주석에 심각한 일관성 없는 점을 규명하며, 최신 모델에서 시작/종료 시간이 약간만 이동해도 인식 정확도가 최대 10% 감소함을 입증한다. 이를 해결하기 위해 저자는 인지심리학에서 영감을 얻은 Rubicon Boundaries를 제안하여 행동 단계에 기반해 주석을 표준화함으로써 GTEA Gaze+에서 4%의 정확도 향상을 달성하고, 55%의 행동 클래스에서 개선된 성능을 보였다.

ABSTRACT

Manual annotations of temporal bounds for object interactions (i.e. start and end times) are typical training input to recognition, localization and detection algorithms. For three publicly available egocentric datasets, we uncover inconsistencies in ground truth temporal bounds within and across annotators and datasets. We systematically assess the robustness of state-of-the-art approaches to changes in labeled temporal bounds, for object interaction recognition. As boundaries are trespassed, a drop of up to 10% is observed for both Improved Dense Trajectories and Two-Stream Convolutional Neural Network. We demonstrate that such disagreement stems from a limited understanding of the distinct phases of an action, and propose annotating based on the Rubicon Boundaries, inspired by a similarly named cognitive model, for consistent temporal bounds of object interactions. Evaluated on a public dataset, we report a 4% increase in overall accuracy, and an increase in accuracy for 55% of classes when Rubicon Boundaries are used for temporal annotations.

연구 동기 및 목표

• 세 개의 공개 데이터셋 간 및 내부에서 엔드투엔드 비디오의 물체 상호작용에 대한 시간 경계 주석의 일관성 여부를 조사하기 위해.
• 시간 경계의 변동에 대해 최신 행동 인식 모델—개선된 밀도 트레이제터리(Improved Dense Trajectories)와 이중 스트림 컨volution 신경망(2SCNN)—의 내성에 대한 평가를 위해.
• 인지심리학에서 영감을 얻은 주석 프레임워크인 Rubicon Boundaries를 제안하여 행동 단계에 기반해 시간 경계 주석을 표준화하기 위해.
• Rubicon Boundaries를 통한 일관된 주석이 조건부 데이터 증강이 적용된 경우에도 행동 인식 정확도와 일반화 능력을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• GTEA Gaze+, GTEA Gaze+ Extended, EPFL-CD의 세 개의 엔드투엔드 데이터셋에서 시간 경계의 일관성 없는 점을 체계적으로 분석하기 위해.
• 정확도 내성 평가를 위해 지식 기반 시간 경계에 대한 제어된 변동을 적용함(일치도 지수(IoU) > 0.5 유지).
• 인지심리학에서 영감을 얻은 Rubicon Boundaries를 도입하여 행동 단계를 정의함: 사전 행동 단계(pre-actional), 행동 단계(actional), 후행 행동 단계(post-actional).
• GTEA Gaze+ 데이터셋을 Rubicon Boundaries 기반으로 재주석 처리하여 두 가지 변형 생성: 'act'(행동 단계 전용) 및 'full'(전체 Rubicon 세그먼트 포함).
• 2SCNN를 일반 주석 세그먼트와 Rubicon 주석 세그먼트에서 동일 조건으로 학습 및 평가하여 경계 일관성의 영향을 고립시키기 위해.
• 다양한 시작/종료 시간을 가진 진짜 및 생성된 세그먼트를 사용하여 일반 주석과 Rubicon 주석 데이터 간 성능 비교를 수행하기 위해.

실험 결과

연구 질문

• RQ1 엔드투엔드 비디오 데이터셋 간 및 내부에서 물체 상호작용의 시간 경계 주석은 얼마나 일관성 있는가?
• RQ2 주석된 시간 경계의 변동이 최신 행동 인식 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ3 인지심리학에서 영감을 얻은 주석 프레임워크는 엔드투엔드 행동 인식의 일관성과 정확도 향상에 기여할 수 있는가?
• RQ4 기존 주석 대비 Rubicon Boundaries를 사용할 경우 일반화 능력과 내성 능력이 향상되는가?

주요 결과

• 세 엔드투엔드 데이터셋 간 및 내부에서 시간 경계 주석이 심각한 일관성 부족을 보이며, 같은 행동 클래스일지라도 높은 변동성이 존재함.
• 지식 기반 시간 경계와의 일치도(IoU)가 0.5 이상임에도 불구하고, 시간 경계가 변동될 경우 IDT 및 2SCNN의 인식 정확도가 최대 10% 감소함.
• GTEA Gaze+ 데이터셋에서 Rubicon Boundaries를 사용한 주석 처리 시 기존 주석 대비 총 정확도가 4% 향상됨.
• 42개 행동 클래스 중 55%인 23개 클래스에서 전체 Rubicon 경계 세그먼트를 사용할 경우 정확도가 향상되었으며, 10개 클래스는 변화가 없음.
• Rubicon 주석 세그먼트는 시간 경계의 변동에 대해 더 높은 내성성을 보이며, 동일 조건에서 일반 주석으로 생성된 세그먼트보다 정확도가 높음.
• 정확도 향상은 데이터 증강 자체로는 재현할 수 없으며, 주로 경계 일관성 향상 덕분임을 확인함.