[논문 리뷰] UNITER-Based Situated Coreference Resolution with Rich Multimodal Input

Yichen Huang, Yuchen Wang외 1명|arXiv (Cornell University)|2021. 12. 07.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 SIMMC 2.0 데이터셋에서 다중모odal 핵심 참조 해결을 위한 UNITER 기반 모델을 제안하며, 대화 역사, 시각적 특징, 지식 기반 항목, 객체 좌표, 시나리오 그래프를 포함한 풍부한 입력을 활용한다. 이 방법은 테스트-std 세트에서 객체 F1 스코어 73.3%를 기록하여 DSTC10 챌린지에서 2위를 차지했으며, 베이스라인 대비 40.7个百分点 향상되었다.

ABSTRACT

We present our work on the multimodal coreference resolution task of the Situated and Interactive Multimodal Conversation 2.0 (SIMMC 2.0) dataset as a part of the tenth Dialog System Technology Challenge (DSTC10). We propose a UNITER-based model utilizing rich multimodal context such as textual dialog history, object knowledge base and visual dialog scenes to determine whether each object in the current scene is mentioned in the current dialog turn. Results show that the proposed approach outperforms the official DSTC10 baseline substantially, with the object F1 score boosted from 36.6% to 77.3% on the development set, demonstrating the effectiveness of the proposed object representations from rich multimodal input. Our model ranks second in the official evaluation on the object coreference resolution task with an F1 score of 73.3% after model ensembling.

연구 동기 및 목표

• 비디오, 언어, 지식을 통합한 참조 해결이 필요한 다중모달이고 위치 기반 대화 시스템에서 핵심 참조 해결 문제를 해결하기 위해.
• 구조화된 다중모달 입력을 활용하여 DSTC10 다중모달 핵심 참조 해결 과제에서 GPT-2 베이스라인을 향상시키기 위해.
• 객체 좌표, 지식 기반 임베딩, 시나리오 그래프와 같은 다양한 다중모달 특징이 핵심 참조 해결 성능에 미치는 영향을 조사하기 위해.
• 각 객체를 언급 후보로 간주하고, 객체당 이진 분류 헤드를 사용하는 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 모델는 대화 역사, 사전 훈련된 CNN에서 유도된 시각적 특징, 지식 기반 항목에서 유도된 객체 전용 임베딩을 포함한 다중모달 입력을 함께 인코딩하기 위해 UNITER를 사용한다.
• 각 객체는 객체 인덱스, Faster R-CNN 또는 CLIP에서 유도된 이미지 특징, BERT/SBERT를 통한 지식 기반 기술, 객체 위치 및 이전 언급 여부와 같은 보조 특징을 조합한 복합 임베딩으로 표현된다.
• 시나리오 그래프 관계는 주로 주의 편향 또는 관계 인식 자가주의 레이어를 통해 통합되어 객체 간의 공간적 및 관계적 맥락을 모델링한다.
• 모델는 현재 대화 턴에서 언급된 객체 후보에 대해 각각 이진 분류를 수행한다.
• 모델 앙상블은 다섯 개의 최상위 성능 UNITER 기반 설정을 조합하여 일반화 능력을 향상시키고 테스트 세트에서 최종 성능을 향상시키는 데 사용되었다.

실험 결과

연구 질문

• RQ1 복잡한 실제 대화 상황에서 다중모달 입력 간 핵심 참조 해결에 대해 UNITER 기반 아키텍처가 얼마나 효과적인가?
• RQ2 객체 좌표, 지식 기반 항목, 시나리오 그래프와 같은 풍부한 다중모달 입력이 핵심 참조 해결 성능에 얼마나 기여하는가?
• RQ3 시나리오 그래프에서 유도된 구조적 관계 정보가 객체 간 공간적 및 맥락적 관계 이해를 향상시키는가?
• RQ4 GPT-2와 같은 순차 기반 베이스라인 대비 제안된 방법이 F1 스코어와 견고성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 UNITER 기반 모델은 검증용 테스트-std 세트에서 객체 F1 스코어 73.3%를 기록하여 DSTC10 챌린지에서 2위를 차지했다.
• 개발 세트에서 모델는 GPT-2의 베이스라인 F1 스코어를 36.6%에서 77.3%로 향상시켜 뚜렷한 성능 향상을 보였다.
• 이전에 언급된 여부를 나타내는 특징을 도입하기만 해도 F1 스코어가 0.674에서 0.728로 상승하여 강력한 이전 언급 의존성이 있음을 시사했다.
• 객체 좌표와 BERT/SBERT를 통한 지식 기반 임베딩을 추가로 통합함으로써 성능이 향상되었으며, 최상의 단일 모델은 개발-테스트 세트에서 F1 스코어 0.674를 기록했다.
• 시나리오 그래프 통합은 소량의 성능 향상만 가져왔으며, 제공된 그래프에 관계 정보가 제한적이기 때문일 수 있다.
• 오류 분석 결과, 벽에 있는 객체나 혼잡한 환경에서의 객체 탐지에 어려움이 있었으며, 특히 작은 객체나 부분적으로 가려진 객체의 경우 문제가 뚜렷했다.