[논문 리뷰] Interpretable and Globally Optimal Prediction for Textual Grounding using Image Concepts

Raymond A. Yeh, Jinjun Xiong외 3명|arXiv (Cornell University)|2018. 03. 29.

Multimodal Machine Learning Applications인용 수 42

한 줄 요약

이 논문은 텍스트 기반 위치 지정을 이미지 컨셉 점수 맵과 분기-경계 탐색을 사용하여 모든 바운딩 박스에 대해 전역 에너지 최소화로 형상화하고 정확한 추론을 달성한다. 이는 더 풍부한 제안을 가능하게 하고 단어–이미지 컨셉 임베딩을 해석 가능하게 제공하며, 제출 시 Flickr 30k Entities와 ReferItGame에서 최첨단 성능을 능가한다.

ABSTRACT

Textual grounding is an important but challenging task for human-computer interaction, robotics and knowledge mining. Existing algorithms generally formulate the task as selection from a set of bounding box proposals obtained from deep net based systems. In this work, we demonstrate that we can cast the problem of textual grounding into a unified framework that permits efficient search over all possible bounding boxes. Hence, the method is able to consider significantly more proposals and doesn't rely on a successful first stage hypothesizing bounding box proposals. Beyond, we demonstrate that the trained parameters of our model can be used as word-embeddings which capture spatial-image relationships and provide interpretability. Lastly, at the time of submission, our approach outperformed the current state-of-the-art methods on the Flickr 30k Entities and the ReferItGame dataset by 3.08% and 7.77% respectively.

연구 동기 및 목표

• 텍스트 위치 지정 문제의 동기와 지역 제안에 대한 의존성 설명.
• 이미지 컨셉을 사용하여 모든 바운딩 박스를 탐색하는 unified, exact inference 프레임워크 제안.
• 학습된 단어–컨셉 임베딩을 노출하여 해석 가능성 확립.
• Flickr 30k Entities와 ReferItGame에서 최첨단 대비 empirical Gains 제시.

제안 방법

• grounding을 E(x, y, w) = sum_{s in S} sum_{c in C} w_{s,c} φ_c(x, y, w_r).으로 공식화.
• 이미지 컨셉을 점수 맵으로 표현(S) (단어 priors, 기하학적 큐, 의미적 분할, 탐지).
• 효율적인 branch-and-bound 알고리즘(Alg. 1)을 사용하여 전역 최솟값 ˆy = arg min_y E(x, y, w)을 해결.
• IoU 손실이 포함된 구조화된 SVM 목적함수로 파라미터 w를 훈련하고, loss-augmented inference와 cutting-plane 방법 적용.
• lower-bound bound를 가속하기 위해 적분 이미지와 사전 계산된 캐시 사용.

실험 결과

연구 질문

• RQ1 텍스트 기반 위치 지정을 작은 제안 세트가 아닌 큰 바운딩 박스 공간에서 정확하게 최적화하여 해결할 수 있는가?
• RQ2 이미지 컨셉 점수 맵이 정확하고 해석 가능하며 다양한 데이터셋에서 강인한 성능을 가능하게 하는가?
• RQ3 학습된 w_{s,c}가 공간-이미지 관계를 포착하는 의미 있는 단어 임베딩으로 작용하는가?
• RQ4 Flickr 30k Entities와 ReferItGame에서 기존 방법 대비 실증적 이점은 무엇인가?
• RQ5 제안 방법이 실제 사용에 충분히 계산적으로 효율적인가?

주요 결과

• Flickr 30k Entities에서 최첨단 정확도 달성(Table 1: 51.63% with Prior+Geo+Seg+Det and 53.97% with Prior+Geo+Seg+bDet).
• ReferItGame에서 최첨단 정확도 달성(Table 2: 34.70% with Prior+Geo+Seg+Det).
• SCRC, DSPE, GroundeR, CCA 등 기반선 대비 데이터셋 전반에서 유의한 개선 시연(Table 1 결과와 2016–2017 메소드 대비).
• 모델이 학습한 단어–concept 가중치 ws,c가 해석 가능한 단어 임베딩으로 작동하며 공간-이미지 관계를 포착(Fig. 6).
• 분기-경계 탐색을 통한 추론은 전역 최적성과 빠른 실행 시간을 제공하며 경쟁 방법과 같거나 더 빠름(계산 효율성 섹션).