[논문 리뷰] Grounded Situation Recognition with Transformers

Junhyeong Cho, Youngseok Yoon외 2명|arXiv (Cornell University)|2021. 11. 19.

Multimodal Machine Learning Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 이미지 내에서 동사, 의미 역할, 국지화된 명사 엔티티를 동시에 예측하는 Transformer 기반 모델인 GSRTR를 제안한다. 이 모델은 시각 인코더와 언어 디코더 아키텍처를 사용하여 SWiG 벤치마크에서 최신 기술 성능(SOTA)을 달성한다. 자기주의(self-attention)를 활용해 고수준의 의미적 특징과 이미지에 의존하는 역할 관계를 포착함으로써 정확한 동사 분류와 국지화된 명사 예측(바운딩 박스 국지화 포함)을 가능하게 한다.

ABSTRACT

Grounded Situation Recognition (GSR) is the task that not only classifies a salient action (verb), but also predicts entities (nouns) associated with semantic roles and their locations in the given image. Inspired by the remarkable success of Transformers in vision tasks, we propose a GSR model based on a Transformer encoder-decoder architecture. The attention mechanism of our model enables accurate verb classification by capturing high-level semantic feature of an image effectively, and allows the model to flexibly deal with the complicated and image-dependent relations between entities for improved noun classification and localization. Our model is the first Transformer architecture for GSR, and achieves the state of the art in every evaluation metric on the SWiG benchmark. Our code is available at https://github.com/jhcho99/gsrtr .

연구 동기 및 목표

• 국지화된 상황 인식의 과제를 해결하기 위해, 이미지 내에서 동사, 의미 역할, 국지화된 엔티티를 동시에 예측하는 것.
• 동일한 동작을 가진 이미지 간의 고수준 의미적 변동성으로 인해 동사 예측이 어려운 문제를 해결하기 위해.
• 복잡한, 이미지에 의존하는 엔티티 간의 관계를 모델링하여 명사 분류 및 국지화 성능을 향상시키기 위해.
• 객체 검출이나 캡션과 같은 과제를 넘어서 시각-언어 장면 이해 과제에서 Transformer 아키텍처의 잠재력을 탐색하기 위해.
• SWiG 데이터셋을 사용하여 GSR를 위한 새로운 최신 기술 기준 벤치마크를 수립하기 위해.

제안 방법

• 모델는 Transformer 인코더-디코더 아키텍처를 사용하며, 인코더가 학습된 동사 토큰과 CNN 백본에서 추출한 이미지 특징을 처리하여 주요 동사를 예측한다.
• 인코더는 다중 헤드 자기주의를 활용해 이미지 특징으로부터 고수준 의미적 특징을 포착하여 정확한 동사 분류를 가능하게 한다.
• 디코더는 이미지 특징과 각 역할에 대한 학습 가능한 역할-동사 쿼리 임베딩을 참조하여 각 의미 역할에 대한 예측을 생성한다.
• 각 역할 전용 쿼리는 디코더 블록을 거쳐 명사 클래스, 바운딩 박스 좌표, 존재 확률을 예측한다.
• 디코더의 자기주의 및 크로스주의 메커니즘은 엔티티 간의 이미지에 의존하는 관계를 탄력적으로 모델링할 수 있도록 한다.
• 모델는 각각 동사, 명사, 국지화 헤드를 위해 교차 엔트로피 손실과 박스 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 순수한 Transformer 아키텍처가, 동사 예측과 국지화된 명사 탐지가 동시에 요구되는 국지화된 상황 인식에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 Transformer의 자기주의 메커니즘이 의미 역할과 엔티티 간의 복잡한, 이미지에 의존하는 관계를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 인코더의 주의 메커니즘이 고도로 변동성이 큰 동작에 대해 관련 시각적 영역에 집중함으로써 동사 분류 성능을 향상시킬 수 있는가?
• RQ4 기존 방법에 비해 디코더가 이미지 특징과 역할 쿼리에 주의를 기울임으로써 국지화된 명사 국지화 성능이 얼마나 향상되는가?
• RQ5 모델의 예측을 활용해 높은 의미적 정확도와 공간적 일관성을 확보한 국지화된 의미 기반 이미지 검색을 수행할 수 있는가?

주요 결과

• GSRTR는 SWiG 벤치마크의 모든 평가 지표에서 최신 기술 성능을 달성하였으며, 동사 인식, 명사 분류, 국지화 정확도에서 이전 모델을 모두 능가한다.
• 인코더의 동사 토큰 주의 맵은 동작과 관련된 핵심 영역(예: 끌려가는 물체)을 일관되게 집중적으로 보여주며, 효과적인 고수준 의미적 특징 학습을 시사한다.
• 디코더의 주의 메커니즘은 이미지에 의존하는 역할 간의 관계를 성공적으로 모델링하여 명사 엔티티와 그 바운딩 박스에 대한 정확하고 탄력적인 예측을 가능하게 한다.
• 모델는 국지화된 의미 기반 이미지 검색을 가능하게 하며, 공통된 동사와 겹치는 바운딩 박스를 가진 정렬된 명사 역할 기반 유사도를 계산하여 의미적이고 공간적으로 일관된 검색 결과를 도출한다.
• 제거 실험(ablation studies) 결과, 특히 다수의 상호작용 엔티티가 존재하는 복잡한 장면에서 인코더의 자기주의와 디코더의 크로스주의가 성능 향상에 필수적임을 확인하였다.
• 다양한 시각적 변형이 존재하는 동일한 동사(예: '끌기')에 대해서도, 레이어 전반에 걸쳐 관련된 행동 관련 시각적 신호에 주의를 기울이며 뛰어난 내성성을 보였다.