[논문 리뷰] Learning Visual Question Answering by Bootstrapping Hard Attention

Mateusz Malinowski, Carl Doersch외 2명|arXiv (Cornell University)|2018. 08. 01.

Multimodal Machine Learning Applications참고 문헌 63인용 수 9

한 줄 요약

이 논문은 시각적 질문 응답(VQA)를 위한 새로운 하드 어텐션 메커니즘을 제안하며, 선택 과정에서 기울기 역전파 없이도 효율적이고 정확한 추론이 가능하도록 L2-노름 크기를 기반으로 주목할 만한 시각적 특징을 선별한다. 이 방법은 CLEVR 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 소프트 어텐션 모델을 능가하거나 그에 맞추어 뛰어난 계산 효율성을 보이며, 비국소 관계 네트워크에서 尤히 뛰어나다.

ABSTRACT

Attention mechanisms in biological perception are thought to select subsets of perceptual information for more sophisticated processing which would be prohibitive to perform on all sensory inputs. In computer vision, however, there has been relatively little exploration of hard attention, where some information is selectively ignored, in spite of the success of soft attention, where information is re-weighted and aggregated, but never filtered out. Here, we introduce a new approach for hard attention and find it achieves very competitive performance on a recently-released visual question answering datasets, equalling and in some cases surpassing similar soft attention architectures while entirely ignoring some features. Even though the hard attention mechanism is thought to be non-differentiable, we found that the feature magnitudes correlate with semantic relevance, and provide a useful signal for our mechanism's attentional selection criterion. Because hard attention selects important features of the input information, it can also be more efficient than analogous soft attention mechanisms. This is especially important for recent approaches that use non-local pairwise operations, whereby computational and memory costs are quadratic in the size of the set of features.

연구 동기 및 목표

• 딥 러닝에서 하드 어텐션 메커니즘을 훈련하는 데 도전하는 것 — 이는 비가역적이므로 기울기 역전파를 통한 최적화가 어렵다.
• 특징 크기(L2-노름)가 의미론적 관련성과 상관이 있는지 탐색하여, 하드 어텐션 선택을 위한 단순하고 가역적인 히우리스틱을 제공한다.
• 특정한 시각적 특징만 선택적으로 처리함으로써 계산 복잡도를 줄이고, 비국소 연산의 제곱형 복잡도를 감소시키는 계산 효율적인 VQA 아키텍처를 개발한다.
• 특징 노름 기반 하드 어텐션 메커니즘이 복잡한 시각적 추론 과제에서 소프트 어텐션 메커니즘과 경쟁하거나 그 이상의 성능을 낼 수 있는지 입증한다.
• 최종 답변에 기여하는 의미적으로 유의미한 이미지 영역을 강조하는 해석 가능한 어텐션 마스크를 제공한다.

제안 방법

• 하드 어텐션 네트워크(HAN)는 고정된 수의 L2-노름 값이 가장 큰 시각적 특징 벡터를 선택하여 향후 처리에 활용하며, 노름을 의미론적 관련성의 대체 지표로 사용한다.
• 적응형 하드 어텐션 네트워크(AdaHAN)는 입력 기반 임계값에 따라 변동 가능한 수의 고노름 특징을 동적으로 선택함으로써 유연성을 향상시킨다.
• 이 방법은 L2-노름이 큰 특징 벡터가 종종 질문과 관련된 의미적으로 주목할 만한 이미지 영역(예: 객체 또는 속성)과 일치한다는 관찰에 기반한다.
• 표준 VQA 파이프라인에 하드 어텐션을 통합하여, CNN에서 추출한 이미지 특징과 질문 임베딩을 다중모odal 융합하고, 최종 분류기로 연결한다.
• 어 attention 및 관계 추론 이전에 1x1 컨볼루션과 배치 정규화를 사용하여 훈련 안정성 향상 및 특징 표현 품질 향상을 도모한다.
• 비국소 관계 네트워크(예: 관계 네트워크, RN)에 적용되었을 때, 처리되는 특징 쌍의 수를 제한함으로써 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 CNN 특징의 L2-노름 크기 값이 하드 어텐션 메커니즘에서 의미적으로 관련된 시각적 특징을 선택하는 데 신뢰할 수 있고, 가역적인 신호로 기능할 수 있는가?
• RQ2 특징 노름 기반 하드 어텐션 메커니즘이 시각적 질문 응답 과제에서 소프트 어텐션 모델과 비교해도 경쟁력 있는 성능을 낼 수 있는가?
• RQ3 비국소 관계 네트워크에서 입력 특징 수에 따라 제곱형 복잡도를 보이는 이들에서, 이러한 하드 어텐션 메커니즘이 계산 및 메모리 비용을 줄일 수 있는가?
• RQ4 어텐션 메커니즘이 해석 가능할 수 있는가? 선택된 특징들이 시각적으로 주목할 만하고 의미적으로 의미 있는 이미지 영역에 대응하는가?
• RQ5 관계 추론 모듈(예: 관계 네트워크)과 함께 복잡한 관계 추론을 수행할 때도 하드 어텐션 메커니즘이 효과를 유지할 수 있는가?

주요 결과

• HAN+RN++ 모델은 CLEVR 데이터셋에서 전체 정확도 98.8%를 기록하여 기준 모델인 SAN* (76.6%)를 뛰어넘고, 최신 기술 수준 모델과도 동등하거나 슈퍼리어한 성능을 보였다.
• HAN+RN++ 모델은 '비교 속성' 및 '속성 질의' 질문 유형에서 각각 99.6%의 정확도를 기록하여 복잡한 관계 추론 과제에서 뛰어난 성능을 입증했다.
• HAN+RN+ 모델은 전체 정확도 96.9%를 기록하여 소프트 어텐션 기반 SAN* 모델(76.6%)과 기준 RN 모델(95.5%)을 모두 능가했다.
• 이 방법은 선택된 특징가 항상 질문에서 언급된 의미적으로 관련된 영역(예: 객체 또는 속성)에 국한되도록 해석 가능한 어텐션 마스크를 생성했다.
• 비국소 관계 네트워크에서 처리되는 특징 쌍의 수를 제한함으로써 하드 어텐션 메커니즘이 계산 비용을 감소시켜 전체 쌍 계산보다 더 효율적이었다.
• 특수한 훈련 절차나 어텐션 선택을 위한 명시적 지도 학습 없이도, 표준 L2 정규화와 노름 기반 히우리스틱만으로도 경쟁 가능한 성능을 달성했다.