[논문 리뷰] Temporal Dynamic Graph LSTM for Action-driven Video Object Detection

Yuan Yuan, Xiaodan Liang외 3명|arXiv (Cornell University)|2017. 08. 02.

Human Pose and Action Recognition참고 문헌 43인용 수 14

한 줄 요약

이 논문은 액션 기반 약한 지도 학습 비디오 객체 검출을 위해 시간 동적 그래프LSTM(TD-Graph LSTM)을 제안한다. 행동 기술을 지도로 활용하여 레이블 누락 문제를 해결한다. 프레임 간 객체 제안 간 시각적 상관관계를 기반으로 시간에 따라 변화하는 그래프를 동적으로 구축함으로써 전역적인 시간적 추론과 지식 전이를 가능하게 하여, Charades 데이터셋에서 검출 mAP 1.98% 및 분류 mAP 19.52%로 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

In this paper, we investigate a weakly-supervised object detection framework. Most existing frameworks focus on using static images to learn object detectors. However, these detectors often fail to generalize to videos because of the existing domain shift. Therefore, we investigate learning these detectors directly from boring videos of daily activities. Instead of using bounding boxes, we explore the use of action descriptions as supervision since they are relatively easy to gather. A common issue, however, is that objects of interest that are not involved in human actions are often absent in global action descriptions known as "missing label". To tackle this problem, we propose a novel temporal dynamic graph Long Short-Term Memory network (TD-Graph LSTM). TD-Graph LSTM enables global temporal reasoning by constructing a dynamic graph that is based on temporal correlations of object proposals and spans the entire video. The missing label issue for each individual frame can thus be significantly alleviated by transferring knowledge across correlated objects proposals in the whole video. Extensive evaluations on a large-scale daily-life action dataset (i.e., Charades) demonstrates the superiority of our proposed method. We also release object bounding-box annotations for more than 5,000 frames in Charades. We believe this annotated data can also benefit other research on video-based object recognition in the future.

연구 동기 및 목표

• 행동 기술에 포함되지 않은 객체 카테고리가 자주 검출되지 않는 약한 지도 학습 비디오 객체 검출의 레이블 누락 문제를 해결하기 위해.
• 비디오의 시간적 일관성을 활용하여 액션 레이블이 있는 프레임에서의 지식을 레이블이 없는 프레임의 미참여 객체로 전이하기 위해.
• 모든 프레임의 객체 제안 간 시간적 상관관계를 적응적으로 모델링할 수 있는 동적 그래프 기반 순환 아키텍처를 설계하기 위해.
• 최소한의 지도 정보로 일상 생활 영상 환경에서 작은 객체 및 가림을 받는 객체의 검출 성능을 향상시키기 위해.
• 미래의 비디오 인식 연구를 지원하기 위해 5,000 프레임 이상의 바운딩 박스가 포함된 새로운 애너테이션 데이터셋을 공개하기 위해.

제안 방법

• TD-Graph LSTM은 모든 프레임의 객체 제안을 노드로 하는 동적 시간 그래프를 구성하며, 인접 프레임 간 제안 간 시각적 유사도에 기반해 간선을 적응적으로 형성한다.
• 각 시간 단계에서 유사도가 가장 높은 제안들만 간선으로 연결되며, 이는 그래프를 통해 적응적이고 맥락 인식 기반의 정보 전파를 가능하게 한다.
• 모델은 동적 그래프를 따라 순차적 특징을 처리하기 위해 LSTM 유닛을 사용하여 장거리 시간적 추론과 특징 정제를 가능하게 한다.
• 간선은 현재 특징 표현에 기반해 반복적으로 업데이트되며, 이는 학습된 시각적 상관관계에 기반해 연결성이 진화하는 모델을 가능하게 한다.
• 프레임 전체를 관통해 액션 지식을 동적 그래프 구조를 통해 전파함으로써 검출과 분류를 동시에 최적화한다.
• 제거 실험을 통해 동적 그래프를 정적, 완전 연결형, 평균 가중치 그래프와 비교하여 적응적 연결성 학습의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 비디오 내 객체 제안 간 시간적 상관관계를 효과적으로 모델링할 수 있는가? 이를 통해 약한 지도 학습 검출에서의 레이블 누락 문제를 완화할 수 있는가?
• RQ2 시간에 따라 진화하고 상태에 따라 변화하는 동적 그래프 구조는 고정 또는 정적 그래프 구조보다 검출 성능을 향상시키는가?
• RQ3 행동 기술을 효과적으로 활용하여, 명시적으로 레이블이 지정되지 않은 프레임에서도 관련이 없는 객체의 존재를 추론할 수 있는가?
• RQ4 동적 그래프에서 LSTM을 통한 시간적 추론 통합이, 작은 객체 및 가림을 받는 객체의 검출 정확도에 어떤 영향을 미치는가?
• RQ5 부분적인 레이블만 존재할 때, 전역적인 비디오 수준의 액션 지식이 프레임 수준의 객체 검출 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 TD-Graph LSTM은 Charades 데이터셋에서 검출 mAP 1.98% 및 분류 mAP 19.52%를 달성하여, 최신 기술 대비 분류 mAP에서 3.85% 향상된 성능을 보였다.
• 작은 객체 검출 성능이 침대보 클래스에서 14.13% 이상, 컵 클래스에서 6.93% 이상 향상되어 도전적인 검출 환경에서의 효과성을 입증했다.
• 제거 실험 결과 동적 그래프 구조가 정적 및 평균 가중치 그래프 기반 베이스라인보다 유의미하게 뛰어나며, 적응적 간선 선택의 가치를 입증했다.
• 그래프 구성 요소를 제거하면 검출 mAP가 1.55%로 감소하여, 그래프 기반 지식 전이가 성능 향상에 필수적임을 확인했다.
• LSTM 유닛이 포함된 모델이 LSTM이 없는 변형보다 성능이 뛰어나, 복잡한 운동 패tern을 포착하기 위해 순차적 모델링의 중요성을 입증했다.
• 정성적 결과 분석에서, 컵 및 소파와 같은 작은 객체 및 가림을 받는 객체에 대해 기존 베이스라인 대비 뛰어난 검출 정확도를 보였다.