[논문 리뷰] Hadamard Product for Low-rank Bilinear Pooling

Jin-Hwa Kim, Kyoung Woon On외 4명|arXiv (Cornell University)|2016. 10. 14.

Multimodal Machine Learning Applications인용 수 179

한 줄 요약

본 논문은 Hadamard 곱을 이용한 저랭크 바이어 풀링(MLB)을 compact bilinear pooling의 효율적인 대안으로 제시하여 시각 질문 응답(VQA)에서 파라미터 효율성을 향상시키며 최첨단 성능을 달성한다.

ABSTRACT

Bilinear models provide rich representations compared with linear models. They have been applied in various visual tasks, such as object recognition, segmentation, and visual question-answering, to get state-of-the-art performances taking advantage of the expanded representations. However, bilinear representations tend to be high-dimensional, limiting the applicability to computationally complex tasks. We propose low-rank bilinear pooling using Hadamard product for an efficient attention mechanism of multimodal learning. We show that our model outperforms compact bilinear pooling in visual question-answering tasks with the state-of-the-art results on the VQA dataset, having a better parsimonious property.

연구 동기 및 목표

• 다중 모달 학습에서 전체 바이어 풀링의 고차원을 동기 부여하고 해결한다.
• 표현력을 보존하면서 파라미터 수를 줄이기 위해 Hadamard 곱을 이용한 저랭크 바이어 풀링 메커니즘을 제안한다.
• VQA용 주의(attention) 기반 다중모달 네트워크에 이 방법을 적용하고 아키텍처 선택 사항을 분석한다.
• 절제된 모델로 VQA에서 최첨단 성능을 시연하고 어블레이션 실험을 제시한다.

제안 방법

• 바이어 풀링 가중치 텐서 W를 W = UV^T로 인수분해하여 저rank를 강제하고 f = P^T (U^T x ∘ V^T y)로 계산하며 ∘ 는 Hadamard 곱이다.
• 바이어스(전체 모델)와 입력 이후 또는 Hadamard 곱 뒤에 비선형 활성화 등을 선택적으로 확장하고 잔차 네트워크(residual networks)와 같은 잔차 단축 연결을 추가한다.
• 저랭크 풀링을 VQA용 Multimodal Low-rank Bilinear Attention Networks (MLB)으로 확장하여 영상 특징에 대한 주의(attention)와 정답 분포 계산에서 저랭크 풀링을 사용한다.
• 질문 q와 시각적 특징 F 위의 저랭크 바이어형으로 주의 α를 정의하고 다중 글림스(G)에서 선택적으로 확장한 다음, 또 다른 저랭크 바이어 상호작용으로 정답을 예측한다.
• 학습 블록의 수, 글림스의 수, 비선형성 배치, 정답 샘플링, 단축 연결, 데이터 증강 등 설계 선택을 탐구한다.

실험 결과

연구 질문

• RQ1 Hadamard 곱을 이용한 저랭크 바이어 풀링이 다중 모달 작업에서 전체 바이어 풀링을 효과적으로 근사할 수 있는가?
• RQ2 MLB가 visual question answering에서 compact bilinear pooling 대비 경쟁력 있거나 우수한 성능을 제공하는가?
• RQ3 MLB 기반 모델의 성능과 파라미터 효율성을 최적화하는 아키텍처 선택(깊이, 글림스 수, 비선형 배치, 잔차 연결)은 무엇인가?
• RQ4 MLB를 활용한 VQA 성능에 데이터 증강(예: Visual Genome)의 영향은 무엇인가?
• RQ5 MLB가 VQA 벤치마크에서 최첨단 단일 모델 및 앙상블 모델과 비교하여 어떤가?

주요 결과

• MLB는 VQA에서 최첨단 결과를 달성하고 compact bilinear pooling 기반선보다 파라미터 절감 측면에서도 우수하다.
• 하나 또는 두 글림스를 가진 이주 블록 모델이 강력한 성능을 제공하며, 이 설정에서 두 블록을 넘는 깊이를 늘려도 수익이 감소하는 것으로 나타났다.
• 비선형 활성화가 성능을 향상시키며 활성화의 배치(Hadamard 곱 이전 vs 이후)가 실험에서 유사한 이점을 보여준다.
• Visual Genome을 이용한 데이터 증강이 정확도를 크게 향상시키며 특히 ETC 유형의 정답에서 두드러진다.
• 동시대 방법과 비교하여 MLB는 Open-Ended 정확도(대략 65% 이상)가 더 높고 MC 정확도도 경쟁력이 있으며, MLB는 여러 단일 모델 기반선보다 성능이 우수하고 앙상블 성능에 근접한다.