[논문 리뷰] Object Relation Detection Based on One-shot Learning

Li Zhou, Jian Zhao외 3명|arXiv (Cornell University)|2018. 07. 16.

Multimodal Machine Learning Applications참고 문헌 21인용 수 14

한 줄 요약

이 논문은 장기적 꼬리 분포와 높은 조합 복잡도를 가진 객체 관계를 다루기 위해 일회성 학습을 활용하는 의미 유도 학습자(Semantics Induced Learner, SIL) 모델을 제안한다. 하부에서 빠른 R-CNN을 사용해 객체 제안을 생성하고, 상부에서 의미적 의존성에 의해 안내되는 주의 메커니즘을 결합함으로써 SIL은 견고한 소수 샘플 예측 분류를 가능하게 하며, VRD 및 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Detecting the relations among objects, such as "cat on sofa" and "person ride horse", is a crucial task in image understanding, and beneficial to bridging the semantic gap between images and natural language. Despite the remarkable progress of deep learning in detection and recognition of individual objects, it is still a challenging task to localize and recognize the relations between objects due to the complex combinatorial nature of various kinds of object relations. Inspired by the recent advances in one-shot learning, we propose a simple yet effective Semantics Induced Learner (SIL) model for solving this challenging task. Learning in one-shot manner can enable a detection model to adapt to a huge number of object relations with diverse appearance effectively and robustly. In addition, the SIL combines bottom-up and top-down attention mech- anisms, therefore enabling attention at the level of vision and semantics favorably. Within our proposed model, the bottom-up mechanism, which is based on Faster R-CNN, proposes objects regions, and the top-down mechanism selects and integrates visual features according to semantic information. Experiments demonstrate the effectiveness of our framework over other state-of-the-art methods on two large-scale data sets for object relation detection.

연구 동기 및 목표

• 장기적 꼬리 분포와 높은 조합 복잡도로 인해 다양하고 드문 객체 관계를 탐지하는 데 도전하는 것.
• 주어, 목적어, 서술어 간의 의미적 의존성을 모델링하여 관계 내에서의 동일 클래스 분산 문제를 해결하는 것.
• 예측 분류를 위한 일회성 학습을 가능하게 하여 관계 탐지에서 소수 샘플 일반화 성능을 향상시키는 것.
• 하부에서 시각적 주의와 상부에서 의미적 안내를 통합하여 더 정확한 관계 국소화 및 분류를 위한 것.
• 통합 탐지 프레임워크에서 의미적 사전 지식을 활용하여 대규모 애너테이션 데이터에 대한 의존도를 줄이는 것.

제안 방법

• 프레임워크는 하부에서 객체 탐지기로 빠른 R-CNN을 사용하여 주어와 목적어에 대한 영역 제안을 생성한다.
• 의미 유도 학습자(SIL) 모듈은 주어와 목적어 카테고리로 특징 선택 및 융합을 안내함으로써 상부에서 주의 메커니즘을 통합한다.
• SIL 모델은 주어와 목적어 카테고리의 의미 임베딩을 활용하여 예측 분류를 위한 일회성 학습을 가능하게 한다.
• 시각적 특징은 공간적 및 외관 표현과 융합되어 관계 분류를 위한 통합 표현을 형성한다.
• 모델은 이중 단계 접근 방식을 사용한다: 먼저 객체를 탐지하고, 그 다음 의미 인식 주의 메커니즘을 사용해 예측을 분류한다.
• 제거 실험을 통해 SIL 모듈이 없을 경우의 제어 프레임워크와 비교함으로써 SIL 모듈의 필요성을 확인한다.

실험 결과

연구 질문

• RQ1 일회성 학습은 장기적 꼬리 분포를 가진 데이터셋에서 드문 객체 관계 탐지에 도움이 되는가?
• RQ2 주어, 목적어, 서술어 간의 의미적 의존성을 통합할 경우 관계 분류 정확도는 어떻게 향상되는가?
• RQ3 순수하게 하부에서 시각적 주의를 사용하는 것과 비교해 의미에 의해 안내되는 상부 주의 메커니즘이 성능 향상에 얼마나 기여하는가?
• RQ4 객체 탐지와 예측 분류를 분리하는 것이 종합적인 모델링보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 같은 서술어를 가진 관계이지만 다른 주어/목적어를 가진 관계의 내부 클래스 분산 문제를 다루는 데에 제안된 프레임워크는 얼마나 효과적인가?

주요 결과

• Visual Relationship Dataset(VRD)에서 제안된 프레임워크는 예측 분류에 대해 Recall@50 56.56%와 Recall@100 56.56%를 달성하였으며, 제어 프레임워크(Recall@50 46.60%)보다 뚜렷이 뛰어나다.
• Visual Genome(VG) 데이터셋에서 프레임워크는 예측 분류에 대해 Recall@50 68.63%와 Recall@100 68.63%를 기록하였고, 제어 기반선 대비 52.13%보다 높았다.
• 제거 실험을 통해 SIL 모듈을 제거하면 모든 작업에서 성능이 크게 하락함을 확인하여 SIL 모듈의 효과성을 입증하였다.
• 특히 드문 관계 탐지에서의 성능 향상 덕분에, 일회성 학습 능력과 의미적 주의 메커니즘을 갖춘 프레임워크는 최신 기술 수준의 방법들을 초월하였다.
• 의미적 정보를 주의 메커니즘에 통합함으로써, 외관 및 공간적 특징만을 사용하는 경우에도 예측 분류 성능 향상이 이루어졌다.
• 결과는 의미적 의존성이 '타고 있다'와 '앉아 있다'와 같은 의미적으로 유사한 관계를 주어-목적어 맥락에 따라 구분하는 데 핵심적임을 시사한다.