[논문 리뷰] Finding It at Another Side: A Viewpoint-Adapted Matching Encoder for Change Captioning

Xiangxi Shi, Xu Yang외 3명|arXiv (Cornell University)|2020. 09. 30.

Multimodal Machine Learning Applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 변화 캡션 생성을 위한 새로운 시각적 인코더인 미러드 뷰포인트-적응형 매칭(M-VAM)과 강화 학습을 통한 주의 토닝(raf) 모듈을 제안한다. M-VAM은 이미지 영역 간의 특징 유사도를 모델링하여 의미적 변화와 시점 변화를 명시적으로 구분한다. 반면 RAF는 언어 보상으로 주의를 주목할 만한 변화에 집중시켜 주의 품질을 향상시킨다. 이 방법은 스폿더디프트 및 CLEVR-체인지에서 최신 기술을 초월하며, 시점 변화에 대해 강건함을 입증한다.

ABSTRACT

Change Captioning is a task that aims to describe the difference between images with natural language. Most existing methods treat this problem as a difference judgment without the existence of distractors, such as viewpoint changes. However, in practice, viewpoint changes happen often and can overwhelm the semantic difference to be described. In this paper, we propose a novel visual encoder to explicitly distinguish viewpoint changes from semantic changes in the change captioning task. Moreover, we further simulate the attention preference of humans and propose a novel reinforcement learning process to fine-tune the attention directly with language evaluation rewards. Extensive experimental results show that our method outperforms the state-of-the-art approaches by a large margin in both Spot-the-Diff and CLEVR-Change datasets.

연구 동기 및 목표

• 변화 캡션에서 시점 변화가 의미적 차이를 압도하는 문제를 해결하기 위해.
• 특징 공간에서 시점 변화와 의미적 변화를 명시적으로 분리하는 시각적 인코더를 개발하기 위해.
• 언어 평가 보상으로 주의를 의미적 변화에 맞추어 정교화하기 위해.
• 혼란 요소로 작용하는 시점 변형이 존재하는 환경에서 더 정확하고 강건한 변화 캡션을 생성하기 위해.

제안 방법

• 모든 영역 쌍 간의 교차 이미지 특징 유사도를 계산하여 변화 및 변화 없음 확률 맵을 생성하는 미러드 뷰포인트-적응형 매칭(M-VAM) 인코더를 제안한다.
• 이 확률 맵을 사용하여 향상된 변화 표현을 위한 변화 및 변화 없음 시각적 특징을 합성한다.
• 주의 맵을 변형하고 언어 보상으로 최적화하여 의미적 변화에 대한 주의를 정교화하는 강화 학습을 통한 주의 토닝(RAF) 과정을 도입한다.
• 문장 수준의 보상을 사용하여 강화 학습을 수행함으로써 노출 편향을 줄이고 캡션 품질을 향상시킨다.
• 이중 분지형 특징 매칭 메커니즘을 활용하여 이미지 간 특징을 반사시켜 시점 불변성을 향상시킨다.
• 캡션 헤드와 함께 엔드 투 엔드로 학습하고, BLEU 및 CIDEr 점수를 보상으로 사용하여 정책 기반 강화 방법으로 주의를 토닝한다.

실험 결과

연구 질문

• RQ1 이미지 쌍에서 의미적 변화와 시점 변화를 명시적으로 구분할 수 있는 시각적 인코더를 설계할 수 있는가?
• RQ2 주의 메커니즘은 어떻게 정교화되어야 하며, 시점에 기인한 잡음이 아닌 의미적 변화에 집중할 수 있는가?
• RQ3 언어 평가 보상은 혼란 요소로 작용하는 변화가 존재하는 상황에서 변화 캡션의 품질과 강건성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 실세계 및 합성 변화 캡션 벤치마크 모두에 일반화되는가?

주요 결과

• 제안된 M-VAM+RAF 모델은 스폿더디프트 및 CLEVR-체인지 데이터셋에서 최신 기술을 초월하는 성능을 달성한다.
• CLEVR-체인지에서 이전 방법에 비해 유의미하게 뛰어나며, 특히 색상과 질감 변화 탐지에서 뛰어난 성능을 보인다.
• 정성적 분석 결과 RAF는 실제 변화된 영역에 주의 집중을 강화하여 시점 변화로 인한 오진 탐지(false positives)를 줄인다.
• 모델는 큰 시점 변화에 대해 강건함을 보이며, 장면이 기울어져도 사라진 또는 변경된 객체를 정확히 식별한다.
• 스팟더디프트의 실세계 이미지에서 모델는 사람이나 차량과 같은 객체의 존재/부재 및 위치 변화를 정확히 탐지한다.
• RAF 토닝 과정은 주의를 중심 개체와 그 의미적 변화에 집중시켜 캡션 품질을 향상시키고 오해를 줄인다.