[논문 리뷰] Pairwise Body-Part Attention for Recognizing Human-Object Interactions

Hao-Shu Fang, Jinkun Cao외 2명|arXiv (Cornell University)|2018. 07. 28.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 인간-물체 상호작용(HOI) 인식을 위해 쌍별 신체부위 주의 모델을 제안하며, 구체적으로 분류에 기여하는 신체부위와 그 상관관계를 명시적으로 고려한다. ROI 풀링과 주의 메커니즘을 활용하여 특징 선택을 향상시킨다. 이 방법은 HICO 데이터셋에서 기존 최고 성능 기준으로 10% 상대적 향상(36.1 mAP → 39.9 mAP)을 달성하며, 부위 수준의 주의와 쌍별 특징 상관관계를 활용함으로써 이전의 최고 성능 기술을 초월한다.

ABSTRACT

In human-object interactions (HOI) recognition, conventional methods consider the human body as a whole and pay a uniform attention to the entire body region. They ignore the fact that normally, human interacts with an object by using some parts of the body. In this paper, we argue that different body parts should be paid with different attention in HOI recognition, and the correlations between different body parts should be further considered. This is because our body parts always work collaboratively. We propose a new pairwise body-part attention model which can learn to focus on crucial parts, and their correlations for HOI recognition. A novel attention based feature selection method and a feature representation scheme that can capture pairwise correlations between body parts are introduced in the model. Our proposed approach achieved 4% improvement over the state-of-the-art results in HOI recognition on the HICO dataset. We will make our model and source codes publicly available.

연구 동기 및 목표

• 전체적 또는 굵은 신체부위 주의의 한계를 해결하기 위해, 세분화되고 비균일한 신체부위 주의를 모델링함으로써 인간-물체 상호작용(HOI) 인식의 성능을 향상시키기 위해.
• 실제 상호작용에서 신체부위가 종종 공동으로 작용하므로, 신체부위 간의 상관관계를 명시적으로 모델링함으로써 HOI 인식 성능을 향상시키기 위해.
• 쌍별 상관관계를 포착하면서도 관련 없는 특징을 걸러내는 특징 표현 체계를 개발하기 위해.
• 각 HOI 레이블에 대해 가장 분류에 기여하는 신체부위 쌍을 자동으로 선택할 수 있는 엔드 투 엔드 학습 가능한 주의 메커니즘을 설계하기 위해.
• 특히 세분화된 신체부위 이해가 필요한 상호작용을 다룰 때 상당한 성능 향상을 입증하기 위해.

제안 방법

• 각 신체부위 쌍으로부터 공동 특징 맵을 추출하기 위해 쌍별 ROI 풀링을 도입하며, 관련 없는 특징을 기각한다.
• 각 HOI 레이블에 대해 가장 관련 있는 신체부위 쌍에 초점을 맞추는 데 주목하는 새로운 특징 선택 메커니즘을 제안한다.
• 학습 가능한 주의 모듈을 사용하여 신체부위 간의 쌍별 상관관계를 코딩하는 특징 표현을 구성한다.
• 선택된 쌍별 특징을 전역적 인간, 물체, 배경 특징와 결합하여 최종 HOI 예측을 수행한다.
• 특징 선택과 HOI 분류를 동시에 최적화하기 위해 다중 작업 손실을 사용하여 전체 모델을 엔드 투 엔드로 학습시킨다.
• 예를 들어 왼쪽 팔꿈치–목, 오른쪽 손목–목과 같은 사전 정의된 신체부위 쌍의 집합을 사용하여 인간 상호작용의 물리적 및 기능적 제약 조건을 모델링한다.

실험 결과

연구 질문

• RQ1 특정 신체부위에 대해 비균일한 주의를 모델링하면, 전체적 또는 굵은 수준의 부위 주의를 넘어서 HOI 인식 성능을 향상시킬 수 있는가?
• RQ2 신체부위 간의 쌍별 상관관계를 캡처하면, 특히 세분화된 신체부위 이해가 필요한 상호작용 클래스의 분류 성능을 향상시킬 수 있는가?
• RQ3 학습된 주의 메커니즘이 특정 상호작용에 대해 가장 관련 있는 신체부위 쌍을 인간의 직관과 얼마나 잘 일치시키는가?
• RQ4 제안된 방법이 관련 없는 신체부위를 걸러내면서 거짓 양성(false positives)을 어느 정도 줄이는가?
• RQ5 이 모델은 특히 미세하거나 복잡한 제스처를 포함한 다양한 HOI 카테고리로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 이전 최고 성능 대비 HICO 데이터셋에서 mAP가 10% 상대적으로 향상되어(36.1 → 39.9) 성과를 달성한다.
• 특히 '사과 사기'(19.3 → 59.0 mAP)와 '새 방출하기'(14.5 → 51.3 mAP)와 같이 세분화된 신체부위 이해가 필요한 HOI 카테고리에서 성능 향상이 뚜렷하다.
• 상위 5개 주의 정확도는 0.76에 도달하여 학습된 주의가 인간의 직관과 관련 있는 신체부위 쌍에 대해 강한 일치를 보임을 시사한다.
• 제거 실험 결과, 특징 선택 레이어를 제거하면 mAP가 1.2 감소함으로써 관련 없는 신체부위 쌍을 걸러내는 것이 중요함을 확인한다.
• 쌍별 ROI 풀링과 주의 기반 선택을 통해 관련 없는 신체부위를 걸러내면서 거짓 양성 수를 줄였다.
• 실패 사례는 주로 모델링되지 않은 다수의 인물 상호작용이나 모호한 배경 특징으로 인해 발생한다.