[논문 리뷰] Searching for Ambiguous Objects in Videos using Relational Referring Expressions

Hazan Anayurt, Sezai Artun Ozyegin외 3명|arXiv (Cornell University)|2019. 08. 03.

Multimodal Machine Learning Applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 고도로 모호한 환경에서 상대적 언급 표현을 사용한 영상 객체 검색을 위한 새로운 데이터셋과 딥러닝 프레임워크인 VIREF를 소개한다. 관계적 언급 표현을 동시에 생성하고 이해할 수 있도록 설계된 어텐션 기반 인코더-디코더 LSTM 모델을 제안하며, 생성(bleu-4: 0.2365, meteor: 0.5492)과 이해(mAP: 0.65, 랭크-1 정확도: 0.47) 모두에서 베이스라인을 능가한다.

ABSTRACT

Humans frequently use referring (identifying) expressions to refer to objects. Especially in ambiguous settings, humans prefer expressions (called relational referring expressions) that describe an object with respect to a distinguishing, unique object. Unlike studies on video object search using referring expressions, in this paper, our focus is on (i) relational referring expressions in highly ambiguous settings, and (ii) methods that can both generate and comprehend a referring expression. For this goal, we first introduce a new dataset for video object search with referring expressions that includes numerous copies of the objects, making it difficult to use non-relational expressions. Moreover, we train two baseline deep networks on this dataset, which show promising results. Finally, we propose a deep attention network that significantly outperforms the baselines on our dataset. The dataset and the codes are available at https://github.com/hazananayurt/viref.

연구 동기 및 목표

• 동일한 객체 카테고리의 여러 인스턴스가 존재하는 고도로 모호한 설정에서 영상 객체 검색의 과제를 해결한다.
• 영상에서 관계적 언급 표현을 동시에 생성하고 이해할 수 있는 통합된 딥러닝 프레임워크를 개발한다.
• 목표 객체를 맥락 객체에 대해 명시적으로 기술하는 관계적 언급 표현을 포함한 새로운 데이터셋을 구축하여 현실성과 복잡성을 향상시킨다.
• 객체 간의 관계를 모델링하기 위해 어텐션 메커니즘을 도입하여 영상 기반 언급 표현 작업의 성능을 향상시킨다.
• 영상 시퀀스 내 객체 간의 공간적, 의미적, 동적 관계에 의존하는 표현을 생성하고 이해할 수 있도록 모델을 가능하게 한다.

제안 방법

• VIRAT와 ILSVRC2015 영상 데이터셋에서 유사한 관계적 언급 표현을 수집하여 고도로 모호한 환경을 가진 영상 장면에 집중한 새로운 데이터셋인 VIREF를 구축한다.
• 생성 및 이해 작업 간에 파라미터를 공유하는 인코더-디코더 LSTM 아키텍처 기반의 이중 작업 모델을 설계한다.
• 디코딩 중 주요 객체와 맥락 객체의 관련 특징에 동적으로 어텐션을 집중시키는 어텐션 메커니즘을 구현하여 맥락 이해를 향상시킨다.
• 영상 프레임에서 추출한 VGG-16 특징을 시각적 표현의 입력 임bedding으로 사용하며, 객체 수준의 특징과 동작 임베딩을 함께 활용한다.
• 생성 작업에는 교차 엔트로피 손실, 이해 작업에는 대비 순서 정렬 손실을 사용하여 엔드 투 엔드로 동시에 최적화하는 모델을 훈련시킨다.
• 세 가지 변형(VIREF-e(완전 연결 인코더), VIREF-a(어텐션 기반 인코더), VIREF(어 attention 기반 전체 모델))을 도입하여 분석 및 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 모델이 고도로 모호한 영상 장면에서 관계적 언급 표현을 효과적으로 생성하고 이해할 수 있는가?
• RQ2 객체 쌍에 대한 어텐션을 통합할 경우, 기존의 베이스라인 모델 대비 영상 기반 언급 표현 작업에서 성능 향상이 어떻게 이루어지는가?
• RQ3 목표 객체를 맥락 객체에 대해 기술하는 관계적 표현의 사용이 고도로 모호한 상황에서 영상 객체 검색 정확도에 얼마나 기여하는가?
• RQ4 다양한 인코더 아키텍처(예: 완전 연결형 대비 어텐션 기반)가 생성 및 이해 성능에 미치는 영향은 어떠한가?
• RQ5 훈련 데이터의 다양성과 언어적 다양성이 영상의 언급 표현 모델의 일반화 능력에 미치는 영향은 어떠한가?

주요 결과

• 제안된 VIREF 모델은 언급 표현 생성 및 이해 작업 모두에서 최고의 성능을 기록하며, 모든 지표에서 두 개의 베이스라인 모델을 능가한다.
• 테스트 세트에서 VIREF는 BLEU-4 점수 0.2365와 METEOR 점수 0.5492를 기록했으며, VIREF-e(0.1197 BLEU-4)와 VIREF-a(0.1498 BLEU-4)보다 뚜렷이 뛰어나다.
• 이해 성능에서는 mAP 0.65와 랭크-1 정확도 0.47을 달성했으며, VIREF-e(mAP: 0.55, 랭크-1: 0.35)와 VIREF-a(mAP: 0.46, 랭크-1: 0.26)를 모두 초월했다.
• 모델의 어텐션 메커니즘은 디코딩 중 관련 시각적 및 언어적 특징에 동적으로 집중함으로써 성능 향상에 기여한다.
• 더 높은 어휘 다양성에도 불구하고 VIREF-e는 더 적은 의미적 의미를 가진 표현을 생성하여 BLEU 및 METEOR 점수에 악영향을 미쳤으며, 어휘 다양성과 의미 정확성 사이의 상충 관계를 보여준다.
• 모델는 뛰어난 일반화 능력을 보이며, 전체 VIREF 아키텍처는 성능, 파라미터 효율성, 추론 속도(생성 평균 1.403초, 이해 평균 0.252초) 사이의 최적의 균형을 달성했다.