[논문 리뷰] Weakly-supervised Visual Grounding of Phrases with Linguistic Structures

Fanyi Xiao, Leonid Sigal외 1명|arXiv (Cornell University)|2017. 05. 03.

Multimodal Machine Learning Applications참고 문헌 47인용 수 21

한 줄 요약

이 논문은 영역-구문에 대한 애너테이션 없이 이미지 수준의 캡션만을 사용하여 자유형 언어적 구문을 이미지 내에서 국소화하는 약한 감독 시각 기반 방법을 제안한다. 문장 분석 트리에서 유도된 새로운 심층 네트워크를 도입하여 부모-자식 포함성과 형제 배타성이라는 두 가지 구조적 손실을 도입함으로써, 기준 모델 대비 MS COCO 및 Visual Genome에서 국소화 정확도를 크게 향상시켰다.

ABSTRACT

We propose a weakly-supervised approach that takes image-sentence pairs as input and learns to visually ground (i.e., localize) arbitrary linguistic phrases, in the form of spatial attention masks. Specifically, the model is trained with images and their associated image-level captions, without any explicit region-to-phrase correspondence annotations. To this end, we introduce an end-to-end model which learns visual groundings of phrases with two types of carefully designed loss functions. In addition to the standard discriminative loss, which enforces that attended image regions and phrases are consistently encoded, we propose a novel structural loss which makes use of the parse tree structures induced by the sentences. In particular, we ensure complementarity among the attention masks that correspond to sibling noun phrases, and compositionality of attention masks among the children and parent phrases, as defined by the sentence parse tree. We validate the effectiveness of our approach on the Microsoft COCO and Visual Genome datasets.

연구 동기 및 목표

• 영역-구문 애너테이션 없이 약한 감독 시각 기반 문제를 해결한다.
• 구문 트리를 통한 자연어 기술의 계층적 구조를 활용하여 국소화 정확도를 향상시킨다.
• 영역-구문 애너테이션 없이도 임의의 구문—복합 명사구나 형용사까지 포함—을 이미지 수준의 캡션만으로 국소화할 수 있도록 한다.
• 언어적 구조를 시각적 어텐션 마스크에 통합하는 통합된 딥 러닝 프레임워크를 설계한다.
• 단순한 물체 검출을 넘어서, 복잡한 언어적 표현까지 국소화할 수 있도록 일반화 능력을 입증한다.

제안 방법

• 구문과 이미지 영역을 공유된 임베딩 공간으로 매핑하기 위해 언어 인코더, 시각 인코더, 의미 투영 모듈을 갖춘 신경망을 사용한다.
• 공유된 의미 공간에서 주목된 이미지 영역과 해당 구문을 정렬하기 위해 분류적 손실을 적용한다.
• 구문의 어텐션 마스크가 자식의 마스크들의 합집합이 되도록 보장하는 부모-자식 구조적 손실을 도입한다 (구성성).
• 형제 구문의 어텐션 마스크 간에 공간적 배타성을 보장하는 형제-형제 구조적 손실을 도입한다 (보완성).
• 정답 바운딩 박스나 세그멘테이션 마스크 없이, 이미지-문장 쌍을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 추론 시에 입력된 어떤 구문이라도 픽셀 수준의 어텐션 마스크를 생성할 수 있으며, 단일 단어나 복합 구문에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 구문 트리의 구조적 특성이 영역-구문 애너테이션 없이 약한 감독 시각 기반에 도움이 되는가?
• RQ2 부모-자식 구성성과 형제 배타성 제약 조건이 국소화 정확도에 어떤 영향을 미치는가?
• RQ3 이미지 수준의 캡션만으로 훈련된 모델이 단순한 명사 외에도 복잡한 구문의 정확한 국소화를 달성할 수 있는가?
• RQ4 구조적 제약 조건을 통합한 모델가 분류적 손실만 사용하거나 전혀 구조를 고려하지 않은 모델에 비해 어떤가?
• RQ5 구문 트리 오류나 언어 표현의 한계가 모델 성능에 어느 정도 영향을 미치는가?

주요 결과

• 부모-자식 및 형제 배타성 제약 조건을 모두 적용한 제안된 방법(Ours)이 MS COCO에서 가장 높은 mAP를 기록하며, 분류적 손실 전용 기준 모델 및 기타 분석 모델을 모두 앞서며 성능을 뛰어나게 했다.
• 부모-자식(PC) 및 형제 독립성(SIB) 손실은 모든 IOU 임계치에서 mAP를 향상시켜 언어적 구조를 시각적 어텐션에 효과적으로 전달함을 입증했다.
• 완전한 모델(Ours)은 MS COCO 및 Visual Genome 양쪽에서 최신 기술 수준의 성능을 달성하였으며, 이는 구조적 제약 조건이 국소화 정확도를 향상시킨다는 것을 보여준다.
• 특히 비정상적인 모양의 물체나 복잡한 구문에 대해 기준 모델보다 더 깔끔하고 정밀한 어텐션 마스크를 생성한다.
• 동일한 이미지 내에서 서로 다른 언어 입력에 대해 다른 물체를 성공적으로 국소화하여 다양한 언어적 표현을 다룰 수 있는 능력을 입증했다.
• 실패 사례의 주요 원인은 잘못된 구문 트리(약 20%의 이미지), 최적화되지 않은 언어 표현, 그리고 약한 감독의 본질적 한계에 기인한다.