[논문 리뷰] Teaching Machines to Code: Neural Markup Generation with Visual Attention

Sumeet S. Singh|arXiv (Cornell University)|2018. 02. 15.

Multimodal Machine Learning Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 시각적 어텐션을 갖춘 신경 트랜스듀서 모델을 제안하며, 수식 이미지에서 문법적으로 올바른 LaTeX 마크업을 생성하여 Im2Latex 벤치마크에서 최신 기준인 BLEU 점수 89%를 달성한다. 모델은 공간 풀링을 적용한 CNN 인코더와 어텐션 보완된 LSTM 디코더를 사용하여 이미지 특징을 LaTeX 시퀀스로 매핑하며, 어텐션 시각화를 통해 바운딩 박스 지도 없이도 정확한 기호 국소화를 가능하게 한다.

ABSTRACT

We present a neural transducer model with visual attention that learns to generate LaTeX markup of a real-world math formula given its image. Applying sequence modeling and transduction techniques that have been very successful across modalities such as natural language, image, handwriting, speech and audio; we construct an image-to-markup model that learns to produce syntactically and semantically correct LaTeX markup code over 150 words long and achieves a BLEU score of 89%; improving upon the previous state-of-art for the Im2Latex problem. We also demonstrate with heat-map visualization how attention helps in interpreting the model and can pinpoint (detect and localize) symbols on the image accurately despite having been trained without any bounding box data.

연구 동기 및 목표

• 수식 이미지에서 의미적이고 문법적으로 올바른 LaTeX 코드를 생성하는 엔드 투 엔드 이미지-투-LaTeX 마크업 모델을 개발하기 위해.
• Im2Latex 문제에 대한 이전 최고 성능 기준 BLEU 점수를 향상시키기 위해.
• 모델 내 시각적 어텐션 기반 기능이 바운딩 박스 애너테이션을 요구하지 않음에도 불구하고 이미지 내 기호의 해석 가능한 국소화를 가능하게 함을 입증하기 위해.
• 시퀀스-투-시퀀스 마크업 생성의 맥락에서 아키텍처 변형과 손실 함수를 분석하기 위해.
• 어 attention 메커니즘이 수식 이미지에서 제로샷 객체 탐지에 어떻게 활용될 수 있는지 탐색하기 위해.

제안 방법

• 깊은 CNN이 입력 이미지를 시각적 특징 격자로 인코딩하는 인코더-디코더 아키텍처를 사용하며, 이는 시각적 어텐션을 포함한다.
• 특징 맵 해상도를 줄이기 위해 공간 풀링을 적용하여 좁은 수신 필드를 가진 국소화된 영역 인코딩을 생성한다.
• 스텝별로 LaTeX 토큰을 생성하기 위해 어텐션 메커니즘을 갖춘 LSTM 기반 디코더를 사용한다.
• 시퀀스 생성 최적화를 위해 커스터마이즈된 손실 함수와 함께 빔 서치 디코딩을 적용한다.
• 어텐션 가중치를 히트맵으로 시각화하여 모델 행동을 해석하고 이미지 내 기호를 국소화한다.
• 렌더링된 LaTeX 수식의 대규모 데이터셋을 사용하여 지도 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 시각적 어텐션을 갖춘 신경 시퀀스-투-시퀀스 모델은 명시적인 바운딩 박스 지도 없이도 수식 이미지에서 고정확도의 LaTeX 마크업을 생성할 수 있는가?
• RQ2 특히 풀링과 어텐션 기반 아키텍처 설계가 이미지-마크업 모델의 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 어떤 정도로 어텐션 메커니즘이 객체 탐지 애너테이션 없이도 수식 이미지 내 개별 기호를 국소화할 수 있는가?
• RQ4 다양한 손실 함수와 모델 변형이 최종 BLEU 점수와 일반화 성능에 어떤 영향을 미치는가?
• RQ5 어텐션 기반 어텐션 시각화가 제로샷 국소화를 위한 객체 탐지의 대체 수단으로 기능할 수 있는가?

주요 결과

• 모델은 I2L-140K 데이터셋에서 BLEU 점수 89.0%를 기록하여 이전 최고 기준보다 1.27% 향상시켰다.
• 바운딩 박스 데이터 없이도 어텐션 시각화가 고정밀도로 수식 이미지 내 개별 기호를 국소화하는 데 성공했다.
• 예측된 LaTeX 시퀀스의 99.94%가 정확하게 렌더링되어 강력한 문법적 및 의미적 정확성을 보였다.
• 좁은 수신 필드를 가진 공간 풀링의 사용은 국소화된 이미지 영역에 집중할 수 있도록 하여 정확한 어텐션 기반 국소화를 지원했다.
• 예측된 수식이 새로운 수식에 잘 일반화되었으며, 이미지 매칭 평가에서 70.37%의 예측이 정답과 시각적으로 유사했다.
• 어떤 경우에서는 모델의 출력이 원본 수식보다 더 정확하여 자동 수식 보정 잠재력이 있음을 시사했다.