[논문 리뷰] Attention networks for image-to-text.

Jason Poulos, Rafael Valle|arXiv (Cornell University)|2017. 12. 11.

Handwritten Text Recognition Techniques인용 수 6

한 줄 요약

이 논문은 단어가 아닌 문자 시퀀스를 처리하는 어텐션 기반 인코더-디코더 모델을 제안한다. 소프트맥스 어텐션을 사용하여 정확한 선형 정렬을 학습함으로써, RNN 기반 모델과 시그모이드 어텐션보다도 낮은 테스트 오차를 달성한다. 시그모이드 어텐션은 선형 정렬을 생성하지만 정확도가 떨어진다.

ABSTRACT

The paper approaches the problem of image-to-text with attention-based encoder-decoder networks that are trained to handle sequences of characters rather than words. We experiment on lines of text from a popular handwriting database with different attention mechanisms for the decoder. The model trained with softmax attention achieves the lowest test error, outperforming several other RNN-based models. Our results show that softmax attention is able to learn a linear alignment whereas the alignment generated by sigmoid attention is linear but much less precise.

연구 동기 및 목표

• 문자 수준에서 시퀀스를 모델링함으로써 이미지-텍스트 생성 성능을 향상시키는 것.
• 특히 소프트맥스 및 시그모이드 어텐션을 포함한 다양한 어텐션 메커니즘을 RNN 기반 인코더-디코더 프레임워크 내에서 평가하는 것.
• 이미지 특징과 생성된 텍스트 사이의 정렬을 더 정확하게 가능하게 하는 어텐션 메커니즘을 규명하는 것.
• 기존의 RNN 기반 모델보다 이미지-텍스트 작업에서 더 낮은 테스트 오차율을 달성하는 것.

제안 방법

• 모델은 양측 모두가 순환 신경망(RNNs)인 인코더-디코더 아키텍처를 사용한다.
• 텍스트 생성은 문자 수준에서 수행되며, 디코더는 한 번에 하나의 문자를 예측한다.
• 소프트맥스 어텐션은 정렬 점수를 기반으로 인코더의 은닉 상태에 가중치를 적용하여 컨텍스트 벡터를 계산한다.
• 비교적 메커니즘으로서 시그모이드 어텐션을 사용하며, 시그모이드 활성화를 통해 정렬 점수를 생성한다.
• 모델은 이미지에서 글자 줄을 포함한 수기 데이터베이스에서 엔드 투 엔드로 훈련된다.
• 어텐션 가중치는 각 디코딩 단계에서 관련 이미지 영역에 동적으로 집중하는 데 사용된다.

실험 결과

연구 질문

• RQ1 문자 수준에서 텍스트를 모델링하면 이미지-텍스트 생성 성능이 향상되는가?
• RQ2 소프트맥스 및 시그모이드 어텐션 메커니즘이 이미지 특징과 텍스트 시퀀스 간의 정렬을 학습하는 데 어떻게 비교되는가?
• RQ3 소프트맥스 어텐션은 시그모이드 어텐션보다 더 정밀한 선형 정렬을 달성할 수 있는가?
• RQ4 어떤 어텐션 메커니즘을 선택하느냐가 이미지-텍스트 작업에서 테스트 오차에 상당한 영향을 미치는가?

주요 결과

• 소프트맥스 어텐션을 사용한 모델은 평가된 모든 RNN 기반 모델 중에서 가장 낮은 테스트 오차를 기록한다.
• 소프트맥스 어텐션은 이미지 특징와 텍스트 시퀀스 간의 선형 정렬을 높은 정밀도로 학습한다.
• 시그모이드 어텐션 역시 선형 정렬을 생성하지만, 소프트맥스 어텐션에 비해 상당히 낮은 정확도를 보인다.
• 결과적으로 이 설정에서 소프트맥스 어텐션은 시그모이드 어텐션보다 이미지-텍스트 생성에 더 효과적이다.