[논문 리뷰] An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Learning

Fan Wu, Zhongwen Xu외 1명|arXiv (Cornell University)|2017. 03. 22.

Multimodal Machine Learning Applications참고 문헌 36인용 수 11

한 줄 요약

이 논문은 자연어 객체 검색을 위한 엔드 투 엔드, 컨텍스트 인식 기반 딥 강화학습 프레임워크를 제안한다. 에이전트는 시각적, 언어적, 컨텍스트적 신호를 기반으로 반복적으로 바운딩 박스를 조정하여 이미지 내에서 참조된 객체를 동적으로 탐지한다. 이 방법은 기존의 최고 성능 기준을 초월하여 ReferItGame 데이터셋에서 SCRC와 GroundeR보다 각각 18.25%와 7.67% 높은 성능을 기록한다.

ABSTRACT

We propose an end-to-end approach to the natural language object retrieval task, which localizes an object within an image according to a natural language description, i.e., referring expression. Previous works divide this problem into two independent stages: first, compute region proposals from the image without the exploration of the language description; second, score the object proposals with regard to the referring expression and choose the top-ranked proposals. The object proposals are generated independently from the referring expression, which makes the proposal generation redundant and even irrelevant to the referred object. In this work, we train an agent with deep reinforcement learning, which learns to move and reshape a bounding box to localize the object according to the referring expression. We incorporate both the spatial and temporal context information into the training procedure. By simultaneously exploiting local visual information, the spatial and temporal context and the referring language a priori, the agent selects an appropriate action to take at each time. A special action is defined to indicate when the agent finds the referred object, and terminate the procedure. We evaluate our model on various datasets, and our algorithm significantly outperforms the compared algorithms. Notably, the accuracy improvement of our method over the recent method GroundeR and SCRC on the ReferItGame dataset are 7.67% and 18.25%, respectively.

연구 동기 및 목표

• 언어 설명과 별도로 영역 제안을 생성하는 두 단계 기반 객체 검색 방법의 한계를 해결하기 위해, 이는 부정확성과 오차를 초래한다.
• 시각적, 언어적, 컨텍스트적 정보를 함께 최적화하여 더 정확하고 동적인 객체 국소화를 가능하게 하는 엔드 투 엔드 프레임워크를 개발한다.
• 에이전트가 학습된 '트리거' 동작을 통해 언제 멈출지를 결정할 수 있도록 함으로써, 사전 정의된 객체 카테고리와 고정된 제안 수의 필요성을 제거한다.
• 강화학습 정책에 공간적 및 시간적 컨텍스트를 통합하여 참조 표현 이해 능력을 향상시킨다.

제안 방법

• 에이전트는 딥 강화학습을 사용하여 자연어로 묘사된 객체를 국소화하기 위해 바운딩 박스의 위치와 크기를 반복적으로 조정한다.
• 에이전트의 행동 공간에는 공간 이동(예: 이동, 확대/축소)과 정확한 객체를 발견했을 때 종료하는 데 사용되는 특수한 '트리거' 동작이 포함된다.
• 상태 표현은 객체 제안의 국소적 시각적 특징, 이미지 수준의 ConvNet 특징(공간적 컨텍스트), 그리고 LSTM으로 인코딩된 언어 임베딩(시간적 컨텍스트)을 결합한다.
• 컨텍스트 인식 정책 네트워크는 각 타임스텝에서 시각적, 언어적, 컨텍스트적 입력의 통합 표현을 기반으로 행동을 선택한다.
• 예측된 바운딩 박스와 진짜 바운딩 박스 간의 교차율(IoU)을 기반으로 보상 신호를 사용하여 딥 강화학습을 통해 모델을 훈련시킨다.
• 훈련 절차는 에이전트가 이미지와 언어 입력과의 동적이고 컨텍스트 풍부한 상호작용을 통해 학습할 수 있도록 경험의 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 강화학습 에이전트가 시각적 및 언어적 신호를 함께 최적화함으로써 두 단계 기반 방법보다 자연어 객체 검색 성능을 뛰어넘을 수 있는가?
• RQ2 공간적 및 시간적 컨텍스트는 상대적 위치나 복잡한 특성과 관련된 참조 표현을 이해하는 데 에이전트의 능력을 어떻게 향상시키는가?
• RQ3 고정된 제안 생성을 제거함으로써 일반화 능력 향상과 검색 성능의 부족한 중복을 개선할 수 있는가?
• RQ4 이미지 수준의 컨텍스트와 LSTM을 통한 순차적 추론이 국소화 정확도를 얼마나 향상시키는가?
• RQ5 제로샷 또는 피셔샷 설정에서 훈련 데이터가 증가함에 따라 모델 성능은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 ReferItGame 데이터셋에서 GroundeR보다 7.67% 높은 정확도를 기록했으며, SCRC보다 18.25% 높은 성능을 보이며 최고의 성능을 입증했다.
• 제거 실험 결과에서 공간적 및 시간적 컨텍스트가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• SCRC보다 더 많은 훈련 데이터에서 더 큰 이점을 얻었으며, 더 많은 데이터가 제공될수록 더 강력한 확장성을 보였다.
• 관계(예: '왼쪽에 있는 꼬치'), 다수의 객체(예: '오렌지'), 특성 기반 묘사(예: '청바지를 입은 남자')를 포함한 복잡한 질의에 대해서도 잘 일반화되었다.
• 트리거 동작을 통한 동적 탐색 길이를 갖는 엔드 투 엔드 훈련은 고정된 제안 수의 필요성을 제거하고 중복을 줄였다.
• Top-1 및 Top-50 평가 설정에서 RefCOCO, RefCOCO+, RefCOCOg의 세 가지 벤치마크 데이터셋 전반에서 일관된 성능 향상을 기록했다.