[논문 리뷰] A Real-time Global Inference Network for One-stage Referring Expression Comprehension

Yiyi Zhou, Rongrong Ji외 6명|arXiv (Cornell University)|2019. 12. 07.

Multimodal Machine Learning Applications참고 문헌 37인용 수 8

한 줄 요약

이 논문은 기존의 다단계 방법보다 추론 속도를 10배 높이며 최신 기술 수준의 정확도를 달성하는 실시간 1단계 참조 표현 이해 네트워크인 RealGIN을 제안한다. 다층 시각적 특징 융합을 위한 적응형 특징 선택(Adaptive Feature Selection, AFS)과 텍스트 특징를 핵심으로 삼아 전반적인 맥락을 고려한 전역적 주의적 재분석(Global Attentive ReAsoNing, GARAN)을 도입하여 복잡한 언어 조건을 모델링한다.

ABSTRACT

Referring Expression Comprehension (REC) is an emerging research spot in computer vision, which refers to detecting the target region in an image given an text description. Most existing REC methods follow a multi-stage pipeline, which are computationally expensive and greatly limit the application of REC. In this paper, we propose a one-stage model towards real-time REC, termed Real-time Global Inference Network (RealGIN). RealGIN addresses the diversity and complexity issues in REC with two innovative designs: the Adaptive Feature Selection (AFS) and the Global Attentive ReAsoNing unit (GARAN). AFS adaptively fuses features at different semantic levels to handle the varying content of expressions. GARAN uses the textual feature as a pivot to collect expression-related visual information from all regions, and thenselectively diffuse such information back to all regions, which provides sufficient context for modeling the complex linguistic conditions in expressions. On five benchmark datasets, i.e., RefCOCO, RefCOCO+, RefCOCOg, ReferIt and Flickr30k, the proposed RealGIN outperforms most prior works and achieves very competitive performances against the most advanced method, i.e., MAttNet. Most importantly, under the same hardware, RealGIN can boost the processing speed by about 10 times over the existing methods.

연구 동기 및 목표

• 기존의 다단계 참조 표현 이해(REF) 방법들이 실시간 적용에 한계를 가지는 계산 비효율성 문제를 해결하기 위해.
• 영역 쿼리 랭킹이 아닌 단일 단계의 바운딩 박스 회귀 문제로 설정함으로써 실시간, 종단 간 전처리 참조 표현 이해를 가능하게 하기 위해.
• 신규한 아키텍처 구성 요소를 통해 1단계 REC에서 표현의 다양성과 언어적 복잡성에 도전하는 데에 목적이 있다.
• MAttNet과 같은 최신 기술 수준의 방법과 비슷한 높은 정확도를 달성하면서도 추론 속도를 크게 향상시키기 위해.

제안 방법

• YOLOv3와 같은 사전 훈련된 객체 검출기와 언어 인코더를 통합하여 직접 바운딩 박스 예측을 수행하는 1단계 기반 기준 모델을 제안한다.
• 표현 내용에 따라 여러 합성곱 레이어의 시각적 특징을 동적으로 융합함으로써 특징의 구분 능력을 향상시키기 위해 적응형 특징 선택(Adaptive Feature Selection, AFS)을 도입한다.
• 텍스트 특징를 핵심으로 삼아 모든 이미지 영역에 걸쳐 질의에 맞는 시각적 맥락을 수집하고 확산시키는 전역적 주의적 재분석(GARAN) 유닛을 설계한다.
• 정답 바운딩 박스를 사용하여 GARAN 내에서 미분 가능 주의 메커니즘을 적용함으로써 정렬 및 추론 성능을 향상시킨다.
• Flickr30k 및 ReferIt와 같은 데이터셋에서 다양한 객체 크기를 다루기 위해 ZSGNet을 백본으로 사용하는 RealGIN의 다중 척도 변형을 사용한다.
• 전체 모델을 종단 간 훈련하여 빠르고 효율적이며 정확한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 1단계 종단 간 네트워크가 정확도를 희생시키지 않고도 참조 표현 이해에서 실시간 성능을 달성할 수 있는가?
• RQ2 다양한 참조 표현을 다루기 위해 다중 의미 수준의 시각적 특징을 어떻게 적응적으로 융합할 수 있는가?
• RQ3 1단계 REC에서 복잡한 언어 조건에 대해 효과적인 전역 추론을 가능하게 하는 메커니즘은 무엇인가?
• RQ4 1단계 모델은 추가 미세조정 없이도 새로운 객체 카테고리에 얼마나 잘 일반화되는가?

주요 결과

• RealGIN은 RefCOCO, RefCOCO+, RefCOCOg에서 최신 기술 수준의 MAttNet과 거의 유사한 성능을 달성하면서도 훨씬 더 빠른 속도를 기록한다.
• RefCOCO, RefCOCO+, RefCOCOg에서 각각 mAP 점수 74.8, 67.2, 58.9를 기록하여 대부분의 이전 방법을 능가한다.
• RealGIN은 26.3 FPS로 이미지를 처리하며, 기존의 다단계 방법(1.3–2.1 FPS)보다 약 10배 더 빠른 속도를 기록한다.
• Flickr30k 및 ReferIt에서 다중 척도 변형을 사용한 RealGIN은 ZSGNet을 포함한 기존 방법들을 크게 능가하며, AFS 및 GARAN의 효과성을 입증한다.
• 정성적 분석 결과 RealGIN은 다중 속성과 긴 설명을 포함한 복잡한 표현을 효과적으로 처리하며, 사전 훈련 중에 볼 수 없었던 새로운 시각적 개념(예: 'horse ass')을 학습하는 데 성공한다.
• 실패 사례는 주로 레이블 노이즈, 모호한 표현, 희귀한 시각적 개념(예: 'sun shining', 'number 2')으로 인해 발생하며, 훈련 데이터 및 백본 사전 훈련 범위의 한계를 보여준다.