[논문 리뷰] Referring Expression Comprehension: A Survey of Methods and Datasets

Yanyuan Qiao, Chaorui Deng외 1명|arXiv (Cornell University)|2020. 07. 19.

Multimodal Machine Learning Applications참고 문헌 70인용 수 5

한 줄 요약

이 종합 검토는 컴퓨터 비전 및 자연어 처리 분야에서 참조 표현 이해(Rec)에 대한 포괄적인 개요를 제공하며, 최신 기법과 데이터셋을 검토한다. 이는 모odal 인코딩 방식에 따라 REC 접근 방식을 공동 임베딩, 모듈러 아키텍처, 그래프 기반 모델로 분류하고, 벤치마크를 통해 성능을 평가하며, 복합적 추론을 핵심 미래 방향으로 강조하며 복잡하고 장기적 추론이 필요한 질의에서 유망한 성과를 보이고 있다.

ABSTRACT

Referring expression comprehension (REC) aims to localize a target object in an image described by a referring expression phrased in natural language. Different from the object detection task that queried object labels have been pre-defined, the REC problem only can observe the queries during the test. It thus more challenging than a conventional computer vision problem. This task has attracted a lot of attention from both computer vision and natural language processing community, and several lines of work have been proposed, from CNN-RNN model, modular network to complex graph-based model. In this survey, we first examine the state of the art by comparing modern approaches to the problem. We classify methods by their mechanism to encode the visual and textual modalities. In particular, we examine the common approach of joint embedding images and expressions to a common feature space. We also discuss modular architectures and graph-based models that interface with structured graph representation. In the second part of this survey, we review the datasets available for training and evaluating REC systems. We then group results according to the datasets, backbone models, settings so that they can be fairly compared. Finally, we discuss promising future directions for the field, in particular the compositional referring expression comprehension that requires longer reasoning chain to address.

연구 동기 및 목표

• 시각-언어 이해 분야에서 참조 표현 이해(REC)를 위한 기존 기법을 체계적으로 검토하고 분류하는 것.
• CNN-RNN, 모듈러 네트워크, 그래프 기반 아키텍처를 포함한 REC 모델의 발전 과정을 분석하는 것.
• 표준 기반 모델과 설정을 사용하여 주요 데이터셋 간 REC 성능을 평가하고 비교하는 것.
• 특히 장기적 추론이 필요한 복합적 참조 표현 이해를 포함한 핵심 과제와 향후 연구 방향을 식별하는 것.
• 기법, 데이터셋, 벤치마크 결과를 비교 프레임워크로 정리하여 연구자들에게 통합된 참고 자료를 제공하는 것.

제안 방법

• 시각적 및 텍스처적 모달 인코딩 전략에 따라 REC 기법을 분류하며, 공동 특징 공간에 대한 공동 임베딩 포함.
• 언어와 시각 처리를 전문화된 구성 요소로 분해하여 해석 가능성 향상을 도모하는 모듈러 네트워크 아키텍처를 검토.
• 언어 및 이미지 특징을 구조화된 그래프로 표현하여 복잡한 관계를 모델링하는 그래프 기반 모델을 분석.
• 어텐션 메커니즘과 크로스 어텐션 레이어가 언어 표현과 이미지 영역 간의 정렬에 어떻게 사용되는지 분석.
• 표준 평가 프rotocol과 기반 모델(예: ResNet, Faster R-CNN)을 사용하여 데이터셋 간 성능을 비교.
• 아키텍처 선택이 REC 작업에서 제로샷 및 희소 few-shot 일반화에 미치는 영향을 평가.

실험 결과

연구 질문

• RQ1 공동 임베딩, 모듈러, 그래프 기반 모델과 같은 다양한 아키텍처가 참조 표현 이해에서 어떻게 성능을 내는가?
• RQ2 모달 간 상호작용과 추론 측면에서 최신 REC 모델을 구분하는 핵심 설계 원칙은 무엇인가?
• RQ3 기존 데이터셋은 복잡성 측면에서 어떻게 다름과 그 복합적 추론 평가에 있어 한계는 무엇인가?
• RQ4 고전적 CNN-RNN 기반 모델 대비 고급 모델이 얻는 성능 향상은 무엇인가?
• RQ5 특히 장기적 추론과 복합적 질의를 위한 미래 연구에서 가장 유망한 방향은 무엇인가?

주요 결과

• 그래프 기반 모델과 모듈러 아키텍처는 표준 공동 임베딩 모델에 비해 복잡하고 복합적인 참조 표현에서 향상된 성능를 보인다.
• 공동 임베딩 방법은 간단하고 짧은 참조 표현에는 효과적이지만, 장기적이고 다단계 추론이 필요한 질의에서는 어려움을 겪는다.
• RefCOCO+, RefCOCO, RefCLEF와 같은 데이터셋은 애너테이션 품질과 언어적 복잡성 측면에서 상당한 차이를 보이며, 이는 모델의 일반화에 영향을 미친다.
• 최신 기술 모델은 표준 평가 프로토콜 하에서 RefCOCO+에서 평균 IoU가 80% 이상을 달성하며, 일부 스플릿에서는 최상위 모델이 85%를 초과한다.
• 복합적 참조 표현 이해는 여전히 주요 과제로 남아 있으며, 다단계 추론이 필요한 질의에서 성능이 크게 저하된다.
• 이 조사에서는 종단 간 공동 임베딩 모델의 한계를 보완하기 위해 더 구조적이고 추론 인식 아키텍처로의 명확한 추세가 존재함을 규명한다.