[논문 리뷰] Drill-down: Interactive Retrieval of Complex Scenes using Natural Language Queries

Fuwen Tan, Paola Cascante-Bonilla외 4명|arXiv (Cornell University)|2019. 11. 10.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

Drill-down는 복잡한 시나리오에서 정확도를 높이기 위해 다중 자연어 쿼리를 사용해 검색 결과를 정교화하는 상호작용식 이미지 검색 프레임워크를 제안한다. 쿼리 이력을 추적하기 위해 영역 인식 상태 벡터의 압축된 세트를 유지한다. 이는 기존의 순차적 인코딩 모델보다 시뮬레이션 및 실제 사용자 기반 벤치마크에서 뛰어난 성능을 보이며, 영역 캡션을 약한 지도 신호로 활용함으로써 낮은 계산 비용으로도 높은 정확도를 달성한다.

ABSTRACT

This paper explores the task of interactive image retrieval using natural language queries, where a user progressively provides input queries to refine a set of retrieval results. Moreover, our work explores this problem in the context of complex image scenes containing multiple objects. We propose Drill-down, an effective framework for encoding multiple queries with an efficient compact state representation that significantly extends current methods for single-round image retrieval. We show that using multiple rounds of natural language queries as input can be surprisingly effective to find arbitrarily specific images of complex scenes. Furthermore, we find that existing image datasets with textual captions can provide a surprisingly effective form of weak supervision for this task. We compare our method with existing sequential encoding and embedding networks, demonstrating superior performance on two proposed benchmarks: automatic image retrieval on a simulated scenario that uses region captions as queries, and interactive image retrieval using real queries from human evaluators.

연구 동기 및 목표

• 단일 쿼리로는 부족한 복잡한 시나리오에서 매우 구체적인 이미지를 검색하는 데 도전하는 것.
• 압축된 영역 인식 상태 표현을 사용해 다중 라운드 자연어 쿼리를 모델링함으로써 상호작용식 이미지 검색을 향상시키는 것.
• Visual Genome와 같은 데이터셋의 영역 캡션을 약한 지도 신호로 활용해 상호작용식 검색 모델을 훈련시키는 데의 효과를 탐색하는 것.
• 모의 및 실제 사용자 평가 환경에서 기존의 순차적 인코딩 방법을 능가하는 것.
• 다중 라운드 검색 시나리오에서 계산 비용을 줄이면서도 검색 정확도를 유지하거나 향상시키는 것.

제안 방법

• 모델은 사전 훈련된 객체 검출기에서 추출한 국소적 객체/물체 특징을 사용해 이미지를 표현함으로써 영역 수준의 이해를 가능하게 한다.
• 고정된 상태 벡터 세트를 유지하며, 각 상태 벡터는 이미지의 특정 영역에 대응한다. 새로운 쿼리가 들어올 때마다 이 상태 벡터를 선택적으로 갱신한다.
• 각 쿼리는 학습 가능한 어텐션 메커니즘을 통해 관련 영역과 정렬되고, 이로 인해 검색 상태가 점진적으로 정교화된다.
• 통합 시각-의미 공간을 사용해 쿼리 표현과 관련된 이미지 영역 간의 거리를 최소화한다.
• 훈련 중에 Visual Genome 데이터셋의 영역 캡션을 약한 지도 신호로 활용함으로써, 인간이 레이블링한 대화 데이터가 없더라도 효과적인 학습이 가능해진다.
• 상태 표현은 압축되고 효율적이며, 전체 RNN 기반 순차 인코더의 메모리 및 계산 부담을 피한다.

실험 결과

연구 질문

• RQ1 단일 쿼리 방법과 비교해 다중 라운드 자연어 쿼리가 복잡한 시나리오의 검색 정확도를 크게 향상시킬 수 있는가?
• RQ2 압축된 영역 인식 상태 표현이 다중 라운드 이미지 검색에서 표준 RNN 기반 순차 인코더를 능가할 수 있는가?
• RQ3 기존 데이터셋에서 제공하는 영역 캡션을 약한 지도 신호로 활용해 상호작용식 검색 모델을 훈련시키는 데 얼마나 효과적인가?
• RQ4 더 길거나 반복적이거나 비정형적인 실제 사용자 쿼리가 들어올 경우 모델의 성능을 유지할 수 있는가?
• RQ5 동적 검색 과정에서 새로운 쿼리에 적응하면서도 이전 쿼리 정보를 망각하지 않는가?

주요 결과

• Drill-down는 시뮬레이션 및 실제 사용자 기반 벤치마크에서 HRED 및 R-HRED 기준선을 모두 능가하며, 낮은 계산 비용으로도 더 높은 정확도를 달성한다.
• 영역 캡션을 사용한 시뮬레이션 벤치마크에서 Drill-down는 1위 정확도 87.4%와 5위 정확도 96.1%를 기록했다.
• 실제 사용자 쿼리를 사용한 인간 평가에서 80% 이상의 사용자가 5라운드 이내에 목표 이미지를 성공적으로 찾았다.
• 모델는 다소 유연하고 실제 세계적인 쿼리에서도 강건한 성능을 유지하며, 쿼리 양식과 구조의 다양성에 잘 견뎌낸다.
• 정성적 분석 결과 상태 벡터가 관련 이미지 영역에 효과적으로 어텐션을 기울이는 것으로 나타났지만, 여러 쿼리가 동일한 의미 하위공간을 자극할 경우 이전 쿼리 정보의 일부가 망각되는 경우가 있다.
• 영역 캡션을 약한 지도 신호로 활용함으로써, 고비용의 인간 레이블링 대화 데이터가 없더라도 효과적인 훈련이 가능해져 데이터 수집 비용을 크게 줄였다.