[논문 리뷰] Learning to Learn Relation for Important People Detection in Still Images

Weihong Li, Fa-Ting Hong외 1명|arXiv (Cornell University)|2019. 04. 07.

Multimodal Machine Learning Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 정적 이미지에서 중요한 사람을 탐지하기 위해 개인 간 및 이벤트-개인 간 상호작용을 통합적으로 모델링하는 딥러닝 프레임워크 POINT를 제안한다. 스택형 상호작용 모듈을 통해 관계 특징을 학습하고 정체성 특징과 융합함으로써 POINT는 두 가지 벤치마크 데이터셋에서 mAP 점수 92.0% 및 72.6%로 최신 기술(SOTA) 성능을 달성하며, 기존 방법인 PersonRank 및 VIP를 초월한다.

ABSTRACT

Humans can easily recognize the importance of people in social event images, and they always focus on the most important individuals. However, learning to learn the relation between people in an image, and inferring the most important person based on this relation, remains undeveloped. In this work, we propose a deep imPOrtance relatIon NeTwork (POINT) that combines both relation modeling and feature learning. In particular, we infer two types of interaction modules: the person-person interaction module that learns the interaction between people and the event-person interaction module that learns to describe how a person is involved in the event occurring in an image. We then estimate the importance relations among people from both interactions and encode the relation feature from the importance relations. In this way, POINT automatically learns several types of relation features in parallel, and we aggregate these relation features and the person's feature to form the importance feature for important people classification. Extensive experimental results show that our method is effective for important people detection and verify the efficacy of learning to learn relations for important people detection.

연구 동기 및 목표

• 중요도가 개인의 특징뿐 아니라 복잡한 사회적 및 맥락적 관계에 의존하는 정적 이미지에서 중요한 사람을 탐지하는 문제를 해결하기 위해.
• 수작업 특징에 의존하지 않고 개인과 이벤트 간 신뢰할 수 있고 효과적인 관계 특징을 자동으로 학습하는 방법을 개발하기 위해.
• 관계 모델링과 특징 학습을 통합된 딥 네트워크로 통합하여 중요도 분류 성능을 향상시키기 위해.
• 기존 방법인 PersonRank 및 VIP보다 정확도와 추론 속도 면에서 중요한 사람 탐지 성능을 뛰어나게 하기 위해.

제안 방법

• POINT는 이중 상호작용 모듈을 사용한다: 개인 간 상호작용은 개인 간 쌍방향 관계를 모델링하고, 이벤트-개인 상호작용은 각 개인의 전체 이벤트 참여도를 추정한다.
• 모델은 상호작용 가중치를 계산하기 위해 추가형 어텐션 메커니즘을 사용하며, 추론 실험에서 스케일된 도트곱 어텐션보다 추가 함수가 성능을 뛰어넘는다.
• 관계 특징은 상호작용 그래프에서 두 가지 별도의 방법으로 추정된다: 하나는 전역 이벤트 맥락을 사전 정보로 사용하고, 다른 하나는 이벤트 그래프를 추가 입력으로 간주한다.
• 여러 하위 모듈에서 유도된 관계 특징은 정체성 특징과 잔차 연결을 통해 결합되어 최종 중요도 표현을 형성한다.
• 분류를 위한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련하며, 최적의 관계 모델링 및 특징 융합을 위해 하이퍼파rameter를 조정한다.
• 아키텍처는 관계 하위 모듈 수(r)와 스택형 관계 모듈 수(Nr)를 유연하게 지원하여 다양한 관계 패턴을 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하지 않고 사회적 이벤트 이미지 내 개인 간 의미 있는 관계 특징을 딥러닝 모델이 자동으로 학습할 수 있는가?
• RQ2 개인 간 및 이벤트-개인 상호작용을 모두 모델링할 경우 중요한 개인 탐지 성능이 어떻게 향상되는가?
• RQ3 전역 이벤트 수준의 맥락을 관계 학습 과정에 통합할 경우 중요도 예측에 어떤 영향을 미치는가?
• RQ4 다양한 어텐션 메커니즘이 이 작업의 관계 모델링 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 기존 방법과 비교해 정확도를 유지하거나 향상시키면서 더 빠른 추론 속도를 달성할 수 있는가?

주요 결과

• POINT는 MS 데이터셋에서 평균 평균 정밀도(mAP) 92.0%와 NCAA 데이터셋에서 72.6%를 기록하여 새로운 최신 기술 성능을 확립했다.
• 모델은 1초당 10 프레임의 속도로 이미지를 처리하여, PersonRank(0.2 fps) 및 VIP(0.06 fps)보다 훨씬 빠른 속도를 기록했다.
• 스케일된 도트곱 어텐션 대신 추가형 어텐션을 사용할 경우 NCAA 데이터셋에서 성능이 1.1% 향상되어 97.3%에서 96.2%로 개선되었다.
• 전역 이벤트 정보를 사전으로 통합할 경우 성능이 1.3% 향상되었으며, 이는 이벤트 그래프를 추가 입력으로 간주하는 방법(0.7% 향상)보다 우수했다.
• 여러 관계 하위 모듈(r > 1)과 스택형 관계 모듈(Nr > 1)을 사용할 경우 성능 향상이 이루어졌으며, MS 데이터셋에서는 r=4, Nr=2에서 최적의 성능, NCAA 데이터셋에서는 Nr=4에서 최적의 성능를 기록했다.
• 시각적 비교 결과, POINT는 PersonRank가 자주 실패하는 복잡한 장면에서도 가장 중요한 사람(예: 슛팅하는 사람)을 정확히 식별하는 데 성공했다.