[논문 리뷰] Self-Segregating and Coordinated-Segregating Transformer for Focused Deep Multi-Modular Network for Visual Question Answering

Chiranjib Sur|arXiv (Cornell University)|2020. 06. 25.

Multimodal Machine Learning Applications참고 문헌 25인용 수 7

한 줄 요약

이 논문은 시각질문응답(VQA)를 위한 새로운 자기분리 및 공조분리 트랜스포머(SST-CST) 아키텍처를 제안한다. 이는 시각적 및 언어적 특징을 지능적으로 필터링하고 우선순위를 정함으로써 주의 메커니즘을 향상시킨다. 내용 기반 분리 전략—언어 특징에 대한 자기분리와 이미지 특징에 대한 공조분리—를 도입함으로써 주의 오염을 감소시키고 추론의 다양성을 향상시키며, VQA-v2 벤치마크에서 기존 방법보다 최대 2.5% 높은 정확도를 달성한다.

ABSTRACT

Attention mechanism has gained huge popularity due to its effectiveness in achieving high accuracy in different domains. But attention is opportunistic and is not justified by the content or usability of the content. Transformer like structure creates all/any possible attention(s). We define segregating strategies that can prioritize the contents for the applications for enhancement of performance. We defined two strategies: Self-Segregating Transformer (SST) and Coordinated-Segregating Transformer (CST) and used it to solve visual question answering application. Self-segregation strategy for attention contributes in better understanding and filtering the information that can be most helpful for answering the question and create diversity of visual-reasoning for attention. This work can easily be used in many other applications that involve repetition and multiple frames of features and would reduce the commonality of the attentions to a great extent. Visual Question Answering (VQA) requires understanding and coordination of both images and textual interpretations. Experiments demonstrate that segregation strategies for cascaded multi-head transformer attention outperforms many previous works and achieved considerable improvement for VQA-v2 dataset benchmark.

연구 동기 및 목표

• 표준 트랜스포머가 무분별한 주의에 과도하게 의존함으로써 다중모odal VQA에서 특징의 중복과 오염이 발생하는 문제를 해결하기 위해.
• 분리 전략을 통해 이미지 및 언어 특징 중 가장 관련성이 높은 특징을 식별하고 우선순위를 정름으로써 시각적 추론을 향상시키기 위해.
• 특히 다중 프레임 및 다중 헤드 주의 설정에서, 관련 없거나 중복되는 특징의 영향을 줄이기 위해.
• 표준 및 인코딩된 주의 기반 베이스라인보다 우수한 성능을 내는 구조적이고 내용 기반의 주의 메커니즘을 도입함으로써 VQA-v2에서의 성능을 향상시키기 위해.
• 반복되거나 밀도 높은 특징 표현을 포함하는 다중모달 작업에서의 특징 선택을 위한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 언어 임베딩에 내용 기반 주의 분리를 적용하여 의미적으로 관련성이 높은 특징을 식별하고 우선순위를 정하는 Self-Segregating Transformer(SST)를 제안한다.
• 이미지 영역과 언어 토큰 간의 공동 분리를 사용하는 Coordinated-Segregating Transformer(CST)를 도입하며, 별도의 임베딩 기반 분리 헤드(ESeT 및 CSeT)를 활용한다.
• 이중 단계 주의 메커니즘을 활용한다. 먼저 ESeT(임베딩 기반 분리) 또는 CSeT(공조 분리)를 통해 특징을 분리하고, 이후 추론을 위해 융합한다.
• 전체 이미지 인코딩($enc(\text{Image})$)보다 지역적 이미지 특징의 가중 평균($\overline{\text{Image}}$)을 사용함으로써 개별 영역과의 정렬에 더 효과적인 표현을 확보한다.
• 깊이 있는 트랜스포머 인코더의 중간 레이어에서 분리를 적용함으로써, 융합 이전에 고유가치가 높은 특징의 선택적 전파를 가능하게 한다.
• 기존의 [22] 트랜스포머 베이스라인의 수정된 버전을 기반으로 하여, VQA-v2와 Visual Genome에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 내용 기반의 주의 특징 분리는 시각질문응답에서 추론 성능을 향상시킬 수 있는가?
• RQ2 언어 특징의 자기분리와 언어 및 이미지 특징 간의 공조분리 간의 정확도 및 강건성 측면에서의 성능 비교는 어떻게 되는가?
• RQ3 주의 계산 이전에 특징을 분리함으로써 주의 오염을 줄이고 특징 표현의 질을 향상시킬 수 있는가?
• RQ4 스케일러빌리티나 일반화 능력에 손상을 주지 않고, 깊이 있는 다중 헤드 주의 트랜스포머에 분리 전략을 효과적으로 통합할 수 있는가?
• RQ5 특징 표현의 선택(예: $\overline{\text{Image}}$ 대비 $enc(\text{Image})$)이 분리 효과성과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• 이미지 표현으로 $\overline{\text{Image}}$를 사용한 Self-Segregating Transformer(SST)는 VQA-v2 검증 세트에서 66.72%의 탑-1 정확도를 달성하여 베이스라인을 능가했다.
• CSeT(공조 분리)를 사용한 Coordinated-Segregating Transformer(CST)는 66.72%의 정확도를 기록하여, ESeT(임베딩 기반 분리)보다 공조 특징 분리가 더 효과적임을 입증했다.
• $\overline{\text{Image}}$를 이미지 표현으로 사용할 경우, $enc(\text{Image})$보다 유의미하게 더 좋은 결과를 얻었으며, 이는 지역적 특징과의 보다 우수한 정렬과 개선된 특징 공간 정의 덕분이었다.
• 제안된 분리 전략은 주의 오염을 감소시키고 추론의 다양성을 향상시켜, VQA-v2 테스트-데브 세트에서 베이스라인 모델 대비 2.5% 향상된 성능을 기록했다.
• 제안된 모델은 동일한 코드베이스 하에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 VQA-v2에서 달성했으며, 검증 세트에서 66.72%의 정확도와 테스트-데브 세트에서 66.72%의 정확도를 기록했다.
• 아블레이션 연구를 통해 분리 기반 추론이 특징 인접성 문제와 열악한 표현으로 악화되는 전통적인 인코딩 기반 시각적 추론보다 우수한 성능을 내는 것으로 확인되었다.