[논문 리뷰] Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition

Guojun Yin, Lu Sheng외 5명|arXiv (Cornell University)|2018. 07. 13.

Multimodal Machine Learning Applications참고 문헌 43인용 수 16

한 줄 요약

Zoom-Net는 대상 및 술어 특징 간 이중 방향 메시지 전달을 가능하게 하는 공간성-맥락-외관 모듈(Spatiality-Context-Appearance Module, SCA-M)을 활용하여 시각적 관계 인식을 위한 새로운 특징 상호작용 프레임워크를 도입한다. 이 모듈은 대조적 ROI 풀링 및 피라미드 ROI 풀링이라는 두 가지 새로운 풀링 셀을 통해 작동하며, 언어적 사전 지식이나 외부 텍스트 데이터에 의존하지 않고 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성한다. 어휘 예측에서 최대 6.46% 향상되고, 술어 예측에서 최대 3.62% 향상되며(Rec@100, k=70 기준), 성능 향상이 확인된다.

ABSTRACT

Recognizing visual relationships among any pair of localized objects is pivotal for image understanding. Previous studies have shown remarkable progress in exploiting linguistic priors or external textual information to improve the performance. In this work, we investigate an orthogonal perspective based on feature interactions. We show that by encouraging deep message propagation and interactions between local object features and global predicate features, one can achieve compelling performance in recognizing complex relationships without using any linguistic priors. To this end, we present two new pooling cells to encourage feature interactions: (i) Contrastive ROI Pooling Cell, which has a unique deROI pooling that inversely pools local object features to the corresponding area of global predicate features. (ii) Pyramid ROI Pooling Cell, which broadcasts global predicate features to reinforce local object features.The two cells constitute a Spatiality-Context-Appearance Module (SCA-M), which can be further stacked consecutively to form our final Zoom-Net.We further shed light on how one could resolve ambiguous and noisy object and predicate annotations by Intra-Hierarchical trees (IH-tree). Extensive experiments conducted on Visual Genome dataset demonstrate the effectiveness of our feature-oriented approach compared to state-of-the-art methods (Acc@1 11.42% from 8.16%) that depend on explicit modeling of linguistic interactions. We further show that SCA-M can be incorporated seamlessly into existing approaches to improve the performance by a large margin. The source code will be released on https://github.com/gjyin91/ZoomNet.

연구 동기 및 목표

• 언어적 사전 지식이나 외부 텍스트 데이터에 의존하지 않고 이미지 내 복잡한 시각적 관계를 인식하는 데 도전한다.
• 국소화된 대상과 전역 술어 간의 특징 상호작용을 향상시켜 시각적 관계 인식 성능을 향상시킨다.
• Visual Genome 데이터셋의 레이블 모호성 및 장꼬리 분포 문제를 계층적 레이블링 전략을 통해 완화한다.
• 기존 모델에 통합될 수 있는 일반화 능력이 뛰어난 모듈(Spatiality-Context-Appearance Module, SCA-M)을 설계한다.

제안 방법

• 대조적 ROI 풀링 셀을 도입하여, 국소 대상 특징을 역으로 전역 술어 특징의 공간적 맥락에 투영함으로써 공간적으로 정렬된 특징 학습을 가능하게 한다.
• 피라미드 ROI 풀링 셀을 제안하여 전역 술어 특징을 국소 대상 특징의 공간 영역 전역에 걸쳐 강화함으로써 특징을 강화한다.
• 두 풀링 셀을 결합하여 대상, 술어, 목적어 간 다중 스케일 및 이중 방향 특징 상호작용을 가능하게 하는 공간성-맥락-외관 모듈(SCA-M)을 구성한다.
• 객체 및 술어 표현 간 깊은 메시지 전파를 허용하기 위해 종단 간 네트워크에 다중 SCA-M 블록을 스택한다.
• 내부 계층 트리(Intra-Hierarchical trees, IH-trees)를 개발하여 클래스 내 레이블 상관관계를 모델링하고 노이즈가 많거나 불균형한 레이블의 영향을 줄인다.
• CAI와 같은 기존 모델에 SCA-M를 통합하여, 기존 아키텍처를 수정하지 않고도 이식성과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 언어적 사전 지식이나 외부 텍스트 데이터 없이도 대상 및 술어 표현 간 깊은 특징 상호작용이 시각적 관계 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 국소 대상과 전역 술어 간 공간 인식 특징 전파 방식이 관계 예측 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 SCA-M와 같은 학습 가능한 모듈이 Visual Genome 데이터셋의 다양한 평가 지표에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 IH-트리 전략이 시각적 관계 데이터셋에서 모호하고 불균형한 레이블의 영향을 효과적으로 완화할 수 있는가?

주요 결과

• Zoom-Net는 외부 언어 데이터를 사용하지 않고도 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성한다. k=70일 때 술어 예측의 Rec@100이 85.64%에서 90.59%로 3.62% 향상되었다.
• 어휘 예측 작업에서 Zoom-Net는 지식 정복 기법 없이도 Rec@50에서 6.46% 향상되었으며(24.82% 대비 18.36%), 이는 이전 최고 성능 모델을 초월한다.
• CAI 모델에 통합된 경우(CAI + SCA-M), 술어 예측 Rec@50가 2.39% 향상되고 관계 예측 Rec@50가 2.49% 향상되어 성능 향상이 뚜렷하다.
• SCA-M 모듈는 매우 높은 이식성과 다양한 백본 모델에서의 성능 향상 능력을 보이며 일반화 능력을 입증한다.
• 모든 세 구성 요소(주어, 술어, 목적어)를 동시에 예측하는 상황에서도 강력한 성능을 발휘하며, 진짜 주어/목적어 레이블에 의존하는 방법들을 능가한다.
• 내부 계층 트리(IH-tree)는 레이블 상관관계를 효과적으로 모델링하여 Visual Genome 데이터셋에서 모호하고 장꼬리 분포가 있는 레이블의 영향을 줄이는 데 기여한다.