[논문 리뷰] Scene Graph based Image Retrieval -- A case study on the CLEVR Dataset

Sahana Ramnath, Amrita Saha외 2명|arXiv (Cornell University)|2019. 11. 03.

Multimodal Machine Learning Applications참고 문헌 7인용 수 9

한 줄 요약

이 논문은 쿼리 및 카탈로그 시나리오 그래프 간의 가시적 그래프 매칭 문제로 일회성 및 반복적 검색을 학습 가능한 문제로 모델링하는 신경기호적 시나리오 그래프 기반 이미지 검색 프레임워크를 제안한다. REINFORCE를 사용해 엔드 투 엔드로 훈련된 방법은 20%의 손실된 속성을 가진 경우 89%의 정확도를 달성하고, 30%의 경우 75%를 기록하여 부족한 조건의 쿼리에 대해 강건성을 보이며, 질문-답변 루프를 통해 상호작용적인 정밀 조정을 가능하게 한다.

ABSTRACT

With the prolification of multimodal interaction in various domains, recently there has been much interest in text based image retrieval in the computer vision community. However most of the state of the art techniques model this problem in a purely neural way, which makes it difficult to incorporate pragmatic strategies in searching a large scale catalog especially when the search requirements are insufficient and the model needs to resort to an interactive retrieval process through multiple iterations of question-answering. Motivated by this, we propose a neural-symbolic approach for a one-shot retrieval of images from a large scale catalog, given the caption description. To facilitate this, we represent the catalog and caption as scene-graphs and model the retrieval task as a learnable graph matching problem, trained end-to-end with a REINFORCE algorithm. Further, we briefly describe an extension of this pipeline to an iterative retrieval framework, based on interactive questioning and answering.

연구 동기 및 목표

• 대규모 카탈로그에서 부족하거나 모호한 설명문이 포함된 텍스트 기반 이미지 검색 문제를 해결하기 위해.
• 시나리오 그래프를 통한 기호적 구조적 추론을 신경학적 학습과 통합하여 해석 가능성과 강건성을 향상시키기 위해.
• 피드백을 사용해 쿼리 그래프를 정밀 조정하는 질문-답변 루프를 통해 상호작용적이고 반복적인 검색을 가능하게 하기 위해.
• 그래프 포함관계와 주의 기반 매칭을 사용해 검색을 전략적 탐색 문제로 모델링하기 위해.
• CLEVR 벤치마크에서 일회성 및 상호작용적 검색을 모두 구현할 수 있는 신경기호적 접근의 타당성을 입증하기 위해.

제안 방법

• 객체 속성(색상, 형태)과 공간 관계를 사용해 카탈로그 이미지와 쿼리 설명문을 모두 시나리오 그래프로 표현하기.
• 모든 이미지 시나리오 그래프를 병합하여 통합된 '카탈로그 그래프'를 구성하고, 노드와 간선에 대해 역색인을 생성해 효율적인 검색을 가능하게 하기.
• SPICE 프레임워크를 사용해 입력 설명문을 '쿼리 그래프'로 파싱하고, 알려지지 않은 속성에 대해 0 임베딩을 사용하기.
• 가중치가 부여된 프로베니우스 거리 기반으로 노드 및 삼중항 포함 점수를 정의하며, 이 가중치는 쿼리에 속성이 존재하는지 여부에 따라 결정된다.
• 카탈로그 그래프 위에서 주의 맵을 사용해 각 이미지의 행동 확률을 계산하며, 이는 최적 매칭 노드 및 삼중항에 기반한다.
• 골드 이미지 표현과 검색된 이미지 표현 간의 정규화된 L2 거리에 기반한 보상 함수를 사용해 REINFORCE 알고리즘으로 검색 정책을 훈련하기.

실험 결과

연구 질문

• RQ1 시나리오 그래프 기반의 신경기호적 접근가지가 부족하거나 불완전한 설명문이 포함된 일회성 이미지 검색에서 성능 향상을 이끌 수 있는가?
• RQ2 주목적 기반 매칭을 사용한 그래프 포함관계는 대규모 카탈로그에서 정확한 이미지를 검색하는 데 얼마나 효과적인가?
• RQ3 제안된 프레임워크는 질문-답변 루프를 통한 반복적 검색을 지원하도록 확장될 수 있는가?
• RQ4 쿼리에서 핵심 속성이나 관계가 누락되었을 경우 모델의 성능은 어떻게 되는가?
• RQ5 학습 가능한 질문자와 답변자 통합이 전략적 탐색을 통해 검색 효율성을 향상시킬 수 있는가?

주요 결과

• 완전한 시나리오 그래프가 입력으로 제공될 경우 모델은 99.9%의 검색 정확도를 달성한다.
• 쿼리에서 20%의 노드가 제거된 경우 정확도는 89%로 떨어지며, 이는 부분적 또는 불완전한 기술에 대해 강건함을 시사한다.
• 노드의 30%가 누락된 경우 정확도는 75%로 감소하며, 이는 심각한 정보 손실 상황에서도 모델이 잘 작동함을 보여준다.
• 질문-답변 루프를 통합함으로써 반복적 검색으로의 자연스러운 확장이 가능한 프레임워크를 제공한다.
• 질문 선택을 위한 학습 가능한 정책을 사용함으로써 전략적 탐색을 통해 검색 공간을 효율적으로 축소할 수 있다.
• 희박한 보상 상황에서도 REINFORCE 기반 훈련 방식이 검색 정책 최적화에 효과적으로 기여하며, 정보 손실 상황에서의 성능 저하가 이를 뒷받침한다.