[논문 리뷰] End-to-End Attention-based Image Captioning

Carola Sundaramoorthy, Lin Ziwen Kelvin외 2명|arXiv (Cornell University)|2021. 04. 30.

Multimodal Machine Learning Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 노이즈가 많거나 기능이 적은 분자 이미지에서 정확한 InChI 표기법을 생성하는 데 어려움을 겪는 규칙 기반 모델 및 CNN+RNN 모델의 한계를 해결하기 위해, 종래의 CNN+RNN 인코더를 대체하는 순수한 트랜스포머 아키텍처를 사용한 엔드 투 엔드 비전 트랜스포머(ViT) 기반 모델을 제안한다. 이 모델은 InChI 생성 평균 레벤슈타인 거리 6.95를 기록하여, ResNet+LSTM 기준선 대비 편집 거리 감소율 15% 향상 성과를 달성한다.

ABSTRACT

In this paper, we address the problem of image captioning specifically for molecular translation where the result would be a predicted chemical notation in InChI format for a given molecular structure. Current approaches mainly follow rule-based or CNN+RNN based methodology. However, they seem to underperform on noisy images and images with small number of distinguishable features. To overcome this, we propose an end-to-end transformer model. When compared to attention-based techniques, our proposed model outperforms on molecular datasets.

연구 동기 및 목표

• 노이즈가 많거나 기능이 적은 분자 이미지에서 정확한 InChI 표기법을 생성하는 데 어려움을 겪는 규칙 기반 모델 및 CNN+RNN 모델의 한계를 해결하기 위해.
• 자기주의 어텐션 메커니즘의 장점을 활용해 장거리 및 국소적 특징 모델링을 향상시켜 분자 번역 성능을 향상시키기 위해.
• 수작업 특징 추출을 피하고 도메인 특화 규칙에 의존도를 줄이는 단순한 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 실제 과학 논문에서 얻은 완벽하지 않은 이미지를 대상으로 시각 트랜스포머의 성능을 평가하고, 분자 구조 인식 및 InChI 생성에 효과적인지 검증하기 위해.

제안 방법

• 기존의 이미지 캡션 생성 파이프라인에서 사용하는 CNN 인코더를 비전 트랜스포머(ViT)로 대체하여, 컨volutional 인덕티브 바이어스 없이 패치 기반 이미지 표현을 추출한다.
• 표준 트랜스포머 디코더를 사용하여 이미지 특징에 조건부로 자동회귀적 방식으로 InChI 문자열을 토큰 단위로 생성한다.
• 디코딩 단계 동안 반복적으로 사용되는 인코더 출력 및 디코딩된 토큰 임베딩을 캐시하여 저장하고 재사용함으로써 중복 계산을 줄인다.
• 인코더와 디코더 모듈을 분리하여 인코더 출력을 한 번만 계산하고 자동회귀 생성 과정에서 재사용함으로써 추론 속도를 최적화한다.
• 어텐션 매트릭스 대신 히든 상태를 계층별로 캐시하여, 각 디코딩 단계의 시간 복잡도를 O(N³)에서 O(MN + N²)로 감소시킨다.
• 브리스톨-마이어스 스퀘이브(Bristol-Myers Squibb), GDB-13 및 증강된 분자 이미지로 구성된 데이터셋을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 순수한 트랜스포머 기반 인코더-디코더 모델이 분자 구조 이미지에서 InChI 표기법을 생성하는 데 있어 CNN+RNN 모델을 능가할 수 있는가?
• RQ2 ViT 인코더가 장거리 상관관계를 효과적으로 포착함으로써, 노이즈가 많거나 기능이 적은 분자 이미지에서 성능 향상에 기여하는가?
• RQ3 출력 캐싱 및 모듈 분리 최적화 기법이 정확도를 훼손하지 않으면서 추론 시간 복잡도를 어떻게 감소시키는가?
• RQ4 입력 해상도(예: 384×384)와 패치 크기(16×16)를 증가시키면 성능 향상이 이루어지며, 이는 시퀀스 길이 제약 조건에 어떤 영향을 미치는가?

주요 결과

• ViT 기반 모델은 InChI 생성 평균 레벤슈타인 거리 6.95를 기록하여, 가장 우수한 성능을 보인 ResNet+LSTM 기준선(7.49) 대비 15% 향상된 결과를 달성했다.
• 트랜스포머 레이어 수를 3개에서 24개로 늘일수록 모델 정확도가 크게 향상되었으며, 테스트 세트에서 24개 레이어가 가장 우수한 성능을 기록했다.
• 모델은 ResNet50+LSTM를 포함한 모든 CNN+RNN 기준선을 능가했으며, 더 많은 파라미터와 더 긴 훈련 시간을 가진 ResNet50+LSTM조차도 Levenshtein 거리 7.49로 성능이 열등했다.
• 캐싱 및 모듈 분리 기법을 통해 추론 시간 복잡도가 O(N³)에서 O(MN + N²)로 감소하여, 재계산 최소화와 함께 더 빠른 자동회귀 디코딩을 가능하게 했다.
• 16×16 패치로 384×384 해상도 이미지를 사용하여 훈련한 결과, 224×224 대비 성능 향상이 있었으며, 이는 더 긴 시퀀스 길이가 자기주의 어텐션 메커니즘의 이점을 극대화함을 시사한다.