[논문 리뷰] Activity Driven Weakly Supervised Object Detection

Zhenheng Yang, Dhruv Mahajan외 3명|arXiv (Cornell University)|2019. 04. 02.

Human Pose and Action Recognition참고 문헌 52인용 수 4

한 줄 요약

이 논문은 바운딩 박스 애너테이션 없이도 행동 레이블을 활용하여 객체 정위치를 향상시키는 활동 기반의 약한 지도 학습 객체 검출 프레임워크를 제안한다. 인간-객체 상호작용 기반의 공간 사전 지식을 모델링하고, 다양한 행동에서 일관된 객체 외형을 학습하며, 행동 및 객체 분류기를 함께 훈련시킴으로써, Charades 비디오 데이터셋에서 SOTA 대비 6% mAP 향상을 달성한다.

ABSTRACT

Weakly supervised object detection aims at reducing the amount of supervision required to train detection models. Such models are traditionally learned from images/videos labelled only with the object class and not the object bounding box. In our work, we try to leverage not only the object class labels but also the action labels associated with the data. We show that the action depicted in the image/video can provide strong cues about the location of the associated object. We learn a spatial prior for the object dependent on the action (e.g. "ball" is closer to "leg of the person" in "kicking ball"), and incorporate this prior to simultaneously train a joint object detection and action classification model. We conducted experiments on both video datasets and image datasets to evaluate the performance of our weakly supervised object detection model. Our approach outperformed the current state-of-the-art (SOTA) method by more than 6% in mAP on the Charades video dataset.

연구 동기 및 목표

• 바운딩 박스 애너테이션의 높은 비용을 줄이기 위해 행동 클래스 레이블을 약한 지도 학습으로 활용함으로써 객체 검출의 의존도를 낮추는 것.
• 행동에서 발생하는 인간-객체 상호작용에서 유도된 공간적 및 외형 사전 지식을 활용하여, 약한 지도 학습 검출의 정위치 정확도를 향상시키는 것.
• 객체 검출 및 행동 분류 모델을 함께 훈련시켜 특징 학습을 향상시키고 상호 지도 학습을 강화하는 것.
• 비디오 및 이미지 데이터셋, 특히 일인칭 비디오를 포함한 다양한 데이터 모odal에서 행동 기반 지도 학습의 효과를 평가하는 것.
• 행동 레이블에서 유도된 약한 지도 학습이 객체 검출에서 강한 지도 학습의 필요성을 어떻게 크게 줄일 수 있는지 보여주는 것.

제안 방법

• 행동에 관여하는 인간 신체 부위(예: 손)를 기반으로 객체에 대한 공간 사전 지식을 학습하며, 객체 위치가 행동 맥락에 의존하도록 모델링한다.
• 공유된 특징과 다중 작업 학습을 활용하여 행동 분류 및 객체 검출을 동시에 최적화하는 공동 훈련 프레임워크를 도입한다.
• 동일한 객체가 다양한 행동에 관여하는 경우에도 일관된 특징 학습을 보장하기 위해 일반적인 객체 외형 모델을 훈련시킨다.
• RPN에서 생성한 객체 제안을 사용하고, 분류 헤드를 적용하여 객체 존재 여부를 예측하며, 행동 레이블에서 유도된 지도 학습을 적용한다.
• 행동 맥락과 공간 사전 지식에 기반하여 정확한 객체 제안이 선택되도록 유도하는 약한 지도 학습 손실을 통합한다.
• 인간 관절 검출이 불가능한 일인칭 비디오에 대해 중심 기반 공간 사전 지식을 사용하여 이에 대한 확장을 구현한다.

실험 결과

연구 질문

• RQ1 행동 레이블이 약한 지도 학습 객체 검출의 성능 향상에 기여하는 의미 있는 공간적 및 외형 사전 지식을 제공할 수 있는가?
• RQ2 행동 및 객체 분류의 공동 학습이 별도 훈련 대비 검출 성능 향상에 어떤 영향을 미치는가?
• RQ3 어느 정도까지 행동 기반 지도 학습이 바운딩 박스 애너테이션의 필요성을 줄일 수 있는가?
• RQ4 이 방법은 비디오 및 이미지 등 다양한 데이터 모달에서 어떻게 일반화되는가?
• RQ5 행동 기반 약한 지도 학습과 함께 제한된 진짜 바운딩 박스 애너테이션을 추가했을 때의 영향은 무엇인가?

주요 결과

• 제안된 방법은 Charades 비디오 데이터셋에서 이전 SOTA 대비 6% mAP 향상을 달성하여, 약한 지도 학습 검출에서 뛰어난 성능을 입증한다.
• HICO-DET 이미지 데이터셋에서 기존의 약한 지도 학습 방법보다 뛰어나며, 비디오 데이터를 초월한 일반화 능력을 보여준다.
• 일인칭 비디오인 EPIC-KITCHENS 데이터셋에서 R*CNN과 PCL을 초월하며, 제1인칭 비디오의 암묵적 공간 사전 지식 덕분에 성능 향상을 얻는다.
• 훈련 샘플의 70%만 바운딩 박스 애너테이션이 포함되어 있어도, Charades에서 100% 애너테이션을 사용한 완전 지도 학습 모델의 성능을 따라잡는다.
• 100% 바운딩 박스 애너테이션이 존재하는 경우에도, 행동 및 객체 분류와의 공동 훈련 덕분에 완전 지도 학습 기반 모델보다 mAP 2점 높은 성능을 기록한다.
• 제거 실험 결과 각 구성 요소—공간 사전 지식, 공동 훈련, 외형 모델링—이 최종 성능 향상에 기여하는 바가 크다는 것이 확인된다.