[논문 리뷰] Towards Context-aware Interaction Recognition

Bohan Zhuang, Lingqiao Liu외 2명|arXiv (Cornell University)|2017. 03. 18.

Multimodal Machine Learning Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 단어2벡트로 인코딩된 의미적 맥락을 사용하여 맥락에 따라 적응하는 상호작용 분류기를 구축하는 맥락 인식 상호작용 인식 프레임워크를 제안한다. 각 상호작용 유형에 대해 단일 분류기를 유지하면서 분류기를 맥락에 따라 의존적으로 만들음으로써, 시각적 관계 및 문구 검출 벤치마크에서 더 높은 정확도, 확장성, 제로샷 일반화 성능을 달성한다. 이는 VRD 및 시각적 문구 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Recognizing how objects interact with each other is a crucial task in visual recognition. If we define the context of the interaction to be the objects involved, then most current methods can be categorized as either: (i) training a single classifier on the combination of the interaction and its context; or (ii) aiming to recognize the interaction independently of its explicit context. Both methods suffer limitations: the former scales poorly with the number of combinations and fails to generalize to unseen combinations, while the latter often leads to poor interaction recognition performance due to the difficulty of designing a context-independent interaction classifier. To mitigate those drawbacks, this paper proposes an alternative, context-aware interaction recognition framework. The key to our method is to explicitly construct an interaction classifier which combines the context, and the interaction. The context is encoded via word2vec into a semantic space, and is used to derive a classification result for the interaction. The proposed method still builds one classifier for one interaction (as per type (ii) above), but the classifier built is adaptive to context via weights which are context dependent. The benefit of using the semantic space is that it naturally leads to zero-shot generalizations in which semantically similar contexts (subjectobject pairs) can be recognized as suitable contexts for an interaction, even if they were not observed in the training set.

연구 동기 및 목표

• 기존 상호작용 인식 방법의 한계를 해결하기 위해, 상호작용-맥락 조합의 수가 늘어날수록 확장성이 떨어지거나 맥락에 무관한 분류기로 인해 일반화 성능이 떨어지는 문제를 해결한다.
• 각 상호작용-맥락 조합을 고유한 클래스로 간주하지 않고도 맥락을 명시적으로 모델링할 수 있는 확장성 있고 일반화 가능한 프레임워크를 개발한다.
• 단어2벡트를 통한 맥락 표현의 의미적 유사성 활용을 통해 제로샷 일반화를 향상시킨다.
• 상호작용 유형이 증가함에 따라 파라미터 폭발을 방지하면서도 다양한 상호작용 표현 및 데이터셋에서 높은 성능 유지를 달성한다.

제안 방법

• 이 방법은 상호작용-맥락 조합의 의미적 임베딩에 기반해 분류기 가중치를 동적으로 적응시키는 맥락 인식 상호작용 분류기를 구성한다.
• 맥락(주어-목적어 쌍)은 사전에 훈련된 단어2벡트 임베딩을 사용해 의미 공간에 인코딩되어 의미적 유사성 기반 일반화를 가능하게 한다.
• 상호작용과 맥락에 기반해 관련 영역에 주의를 기울이는 맥락 인식 어텐션 풀링 레이어를 도입하여 시각적 특징을 개선한다.
• 프레임워크는 상호작용 분류와 맥락 모델링을 분리하지만, 학습된 맥락 특화 가중치 변환을 통해 상호작용 분류기를 맥락에 의존적으로 만든다.
• 모델은 시각적 특징(공간적 및 외관적)과 맥락 임베딩을 함께 사용하여 엔드 투 엔드로 훈련되며, 분류에 대해 교차 엔트로피 손실을 사용한다.
• 이 방법은 Faster R-CNN을 사용한 객체 검출 및 표준 검색 메트릭(예: R@50, R@100)을 사용하여 VRD 및 시각적 문구 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 맥락 인식 상호작용 인식 프레임워크는 예측되지 않은 상호작용-맥락 조합에 대해 일반화 성능을 향상시킬 수 있는가?
• RQ2 맥락에 따라 분류기를 적응시키는 방식이 맥락에 무관하거나 완전히 통합된 분류 방식보다 성능에 어떤 영향을 미치는가?
• RQ3 어떤 정도로 의미적 맥락 임베딩(단어2벡트를 통해)이 상호작용 인식에서 제로샷 일반화를 가능하게 하는가?
• RQ4 맥락 인식 어텐션을 통합함으로써 시각적 표현 학습이 상호작용 인식에 어떻게 향상되는가?

주요 결과

• 제안된 방법(AP+C+CAT)은 시각적 관계 검출(VRD) 데이터셋에서 최신 기준 성능을 달성하였으며, 소수 샘플 및 제로샷 설정 모두에서 이전 방법들을 능가하였다.
• VRD 데이터셋에서, 문구 검출에 대해 R@100이 86.8%이고 R@50가 82.9%였으며, 제로샷 문구 검출에선 각각 30.2%와 18.7%를 기록하였다.
• 이 방법은 강력한 제로샷 일반화 성능을 보였으며, 시각적 문구 데이터셋에서 기준 방법 [17]보다 제로샷 문구 검출 성능이 10퍼센트 포인트 이상 향상되었다.
• 언어 사전 지식을 통합함으로써 얻는 성능 향상은 미미했으며, 이는 맥락 인식 분류기 적응이 이미 상호작용-맥락 상관관계를 암묵적으로 포착하고 있음을 시사한다.
• 상호작용 수가 증가함에 따라 효율적으로 확장되었으며, 각 상호작용-맥락 조합을 고유 클래스로 분류하는 것과 같은 조합 폭발 문제를 피했다.
• 정성적 결과에서는, 예를 들어 '개가 공을 쫓는다'는 훈련 데이터로 학습한 후 '개가 고양이를 쫓는다'와 같은 새로운 맥락 쌍에 대해서도 모델이 정확하게 상호작용을 예측하는 것을 확인할 수 있었다.