[논문 리뷰] Resolving Language and Vision Ambiguities Together: Joint Segmentation & Prepositional Attachment Resolution in Captioned Scenes

Gordon Christie, Ankit Laddha외 5명|arXiv (Cornell University)|2016. 04. 07.

Multimodal Machine Learning Applications참고 문헌 49인용 수 14

한 줄 요약

이 논문은 캡션화된 이미지에서 동시에 의미적 세그멘테이션과 전치구어절 첨부 해석(PPAR)을 수행하기 위한 통합 프레임워크를 제안한다. 시각 및 언어 모듈에서 유도된 다양한 가설을 활용하여 MEDIATOR 모델을 통해 일관성 있는 다중모달 추론을 가능하게 한다. 이 방법은 독립적인 모델보다 뛰어난 성능을 보이며, 스탠포드 파서 대비 PPAR 정확도를 최대 28.69% 상대적으로 향상시키고, 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 시각과 언어 모듈 간의 상호보완적 추론에 기인한다.

ABSTRACT

We present an approach to simultaneously perform semantic segmentation and prepositional phrase attachment resolution for captioned images. Some ambiguities in language cannot be resolved without simultaneously reasoning about an associated image. If we consider the sentence "I shot an elephant in my pajamas", looking at language alone (and not using common sense), it is unclear if it is the person or the elephant wearing the pajamas or both. Our approach produces a diverse set of plausible hypotheses for both semantic segmentation and prepositional phrase attachment resolution that are then jointly reranked to select the most consistent pair. We show that our semantic segmentation and prepositional phrase attachment resolution modules have complementary strengths, and that joint reasoning produces more accurate results than any module operating in isolation. Multiple hypotheses are also shown to be crucial to improved multiple-module reasoning. Our vision and language approach significantly outperforms the Stanford Parser (De Marneffe et al., 2006) by 17.91% (28.69% relative) and 12.83% (25.28% relative) in two different experiments. We also make small improvements over DeepLab-CRF (Chen et al., 2015).

연구 동기 및 목표

• 캡션화된 이미지에서 언어적 및 시각적 해석의 모호함을 해결하는 데 초점하며, 단일 모odal만으로는 모든 모호성을 해소할 수 없다는 점을 다룬다.
• 시각과 언어 모듈를 별도로 처리하는 파이프라인 시스템의 한계를 극복하여 오류 전파를 방지한다.
• 시각과 언어 모듈의 상호보완적 강점을 활용하여 세그멘테이션 및 파싱 정확도를 향상시키는 통합 추론 프레임워크를 개발한다.
• 다양한 가설 생성과 일관성 기반 재정렬이 개별 모듈 출력보다 더 견고하고 정확한 다중모달 이해를 가능하게 한다는 것을 입증한다.

제안 방법

• 각 시각 및 언어 모듈이 불확실성을 반영하기 위해 M개의 다양한 타당한 가설(예: 다수의 세그멘테이션 또는 문장 파싱)을 생성한다.
• MEDIATOR 모델은 모든 M²개의 가설 쌍에 대해 시각적 출력과 언어적 출력 간의 일관성을 평가한다.
• 학습된 스코어 함수를 사용하여 시각적 및 언어적 증거를 통합하며, α로 가중된 손실 함수를 통해 모듈 기여도를 균형 잡는다.
• 최종 예측은 가설 공간 전체를 통합적으로 탐색하여 일관성 있는 가설 쌍 중 최고 스코어를 가진 쌍을 선택한다.
• 예측된 세그멘테이션과 파싱 간의 일관성을 장려하는 통합 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 프레임워크는 인간이 애너테이션한 진짜값을 기반으로 한 세 가지 데이터셋(ABSTRACT-50S, PASCAL-50S, PASCAL-Context-50S)에서 평가된다.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션과 전치구어절 첨부 해석 간의 통합 추론이 개별 모듈 성능을 초월해 정확도를 향상시킬 수 있는가?
• RQ2 시각 및 언어 모듈에서 유도된 다양한 가설은 다중모달 추론의 견고성에 어떻게 기여하는가?
• RQ3 시각과 언어 예측 간의 일관성은 캡션화된 장면에서의 모호성을 어느 정도 감소시킬 수 있는가?
• RQ4 MEDIATOR 모델이 가설 쌍을 재정렬할 수 있는 능력이 독립된 모듈 출력 대비 측정 가능한 성능 향상으로 이어지는가?
• RQ5 통합 손실 함수에서 시각과 언어 모듈 간의 상대적 가중치 설정에 따라 성능에 얼마나 민감한가?

주요 결과

• PASCAL-50S 데이터셋에서 MEDIATOR 모델은 스탠포드 파서 대비 PPAR 정확도를 17.91% 향상시켰고, 상대적 향상률은 28.69%에 이른다.
• PASCAL-Context-50S 데이터셋에서는 스탠포드 파서 대비 12.83%p의 절대적 향상률(25.28% 상대적 향상)을 기록한다.
• 모든 데이터셋에서 DeepLab-CRF보다 작은 차이이지만 일관된 성능 향상을 보이며, 통합 추론의 효과성을 입증한다.
• MEDIATOR 모델은 α(모듈 간 가중치)의 선택에 대해 강건하며, 넓은 범위의 값에서도 최고 성능 유지를 유지한다.
• 다양한 가설의 사용은 필수적이다: 일관성 있는 가설 쌍을 통한 통합 추론은 단일 가설 기반 베이스라인보다 성능이 뛰어나다.
• 정성적 결과에서는 정확한 세그멘테이션과 파싱이 항상 함께 선택되는 것을 확인할 수 있으며, 이는 효과적인 다중모달 정렬을 보여준다.