[논문 리뷰] Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding

Xuejing Liu, Liang Li외 4명|arXiv (Cornell University)|2019. 08. 28.

Multimodal Machine Learning Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 약한 지도 학습 referring expression grounding을 위한 엔드 투 엔드 적응형 복원 네트워크(ARN)를 제안한다. 이 방법은 계층적 주의 메커니즘을 통해 주체, 위치, 맥락 특징을 모델링하여 참조 표현을 적응적으로 정렬한다. 언어 복원, 적응형 특징 복원, 속성 분류 손실을 공동 최적화함으로써 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Weakly supervised referring expression grounding aims at localizing the referential object in an image according to the linguistic query, where the mapping between the referential object and query is unknown in the training stage. To address this problem, we propose a novel end-to-end adaptive reconstruction network (ARN). It builds the correspondence between image region proposal and query in an adaptive manner: adaptive grounding and collaborative reconstruction. Specifically, we first extract the subject, location and context features to represent the proposals and the query respectively. Then, we design the adaptive grounding module to compute the matching score between each proposal and query by a hierarchical attention model. Finally, based on attention score and proposal features, we reconstruct the input query with a collaborative loss of language reconstruction loss, adaptive reconstruction loss, and attribute classification loss. This adaptive mechanism helps our model to alleviate the variance of different referring expressions. Experiments on four large-scale datasets show ARN outperforms existing state-of-the-art methods by a large margin. Qualitative results demonstrate that the proposed ARN can better handle the situation where multiple objects of a particular category situated together.

연구 동기 및 목표

• 학습 중에 참조 표현-객체 정렬에 대한 참값이 제공되지 않는 약한 지도 학습 referring expression grounding의 과제를 해결한다.
• 기존 방법이 시각적 외관 특징에만 의존하여 동일한 카테고리의 여러 객체를 구분하지 못하는 한계를 극복한다.
• 동일한 카테고리의 객체가 여러 개 존재하는 복잡한 환경에서도 주체, 위치, 맥락 특징을 명시적으로 모델링하여 정렬의 강건성을 향상시킨다.
• 정렬과 복원을 공동 최적화하여 특징 표현과 정렬 정확도를 향상시키는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.

제안 방법

• 이미지 영역 제안에서 Faster R-CNN과 상대적/절대적 위치의 공간 인코딩을 사용하여 주체, 위치, 맥락 특징을 추출한다.
• 재귀 신경망을 사용하여 참조 표현을 주체, 위치, 맥락 구성 요소로 분해하여 언어적 구조를 모델링한다.
• 계층적 주의 메커니즘을 구현: 먼저 각 제안에 대해 주체, 위치, 맥락 특징을 주의 적용한 후, 질의 문법에 따라 이를 융합한다.
• 언어 복원 손실, 주체/위치/맥락 특징에 대한 적응형 복원 손실, 속성 분류 손실을 조합한 공동 손실을 설계한다.
• 세 손실 성분의 가중 조합을 사용하여 전체 모델을 엔드 투 엔드로 학습함으로써 정렬과 복원을 공동 최적화한다.
• 하나씩 제거하는 실험을 통해 하이퍼파라미터를 조정하고 각 손실 성분이 최종 성능에 기여하는 방식을 검증한다.

실험 결과

연구 질문

• RQ1 질의 문법에 따라 주체, 위치, 맥락 특징을 동적으로 가중하는 적응형 주의 메커니즘이 정렬 성능을 향상시킬 수 있는가?
• RQ2 질의와 중간 특징을 모두 복원하는 공동 복원은 단일 작업 복원보다 더 나은 표현 학습을 이끌어낼 수 있는가?
• RQ3 속성 분류와 적응형 특징 복원은 동일한 카테고리의 여러 인스턴스가 존재하는 혼잡한 환경에서 객체 정렬에 어떻게 기여하는가?
• RQ4 제안된 방법은 다양한 문법적 구조와 특징 의존성을 가진 다양한 참조 표현에 일반화될 수 있는가?
• RQ5 약한 지도 학습 정렬에서 언어 복원, 적응형 복원, 속성 분류 손실 간의 최적의 균형은 무엇인가?

주요 결과

• ARN은 RefCLEF 데이터셋에서 26.19%의 정확도(IoU > 0.5)를 기록하여 이전 SOTA보다 10.36% 높은 성능을 달성한다.
• 언어 복원 손실만으로도 이전 SOTA 대비 6.03% 향상된 성능을 기록하여 적응형 정렬 모듈의 효과를 입증한다.
• 적응형 복원 손실을 추가하면 언어 복원만 사용할 때보다 정확도가 3.49% 향상되어 특징 정제에 있어 그 가치를 입증한다.
• 속성 분류 손실은 추가로 0.84% 향상시키며, 이는 카테고리별 정렬 향상에 기여하는 것으로 나타난다.
• 절단 실험 결과 언어 복원 손실 가중치를 30(γ = 30)로 설정할 경우 최적의 성능을 기록하며, 전체 손실 조합(γ = 30, λ = 1)이 최고의 성능을 낸다.
• 정성적 결과는 ARN이 동일한 카테고리의 여러 인스턴스가 존재하는 도전적인 케이스, 예를 들어 흰 옷을 입은 여러 남성의 경우에도 객체를 성공적으로 정렬함을 보여준다.