[논문 리뷰] Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework

Chiranjib Sur|arXiv (Cornell University)|2020. 02. 16.

Multimodal Machine Learning Applications참고 문헌 72인용 수 4

한 줄 요약

이 논문은 인도어인 벤골어의 복잡한 문법을 고려해 희박한 의미 텐서의 가우시안 스무딩을 통해 의미 표현을 개선함으로써, 벤골어의 시각적 캡션 생성을 향상시키기 위해 가우시안 스무딩 의미 특징(GSSF)을 제안한다. MSCOCO 데이터셋의 번역된 영문 캡션과 최적화된 LSTM 기반 모델을 사용하여 GSSF는 캡션 품질을 햖춤—기본 LSTM 대비 4%의 BLEU-4 향상과 GSSCN-LSTM 대비 1% 향상 달성—저자원, 비정형 언어 환경에서의 효과성을 입증한다.

ABSTRACT

In this work, we have introduced Gaussian Smoothen Semantic Features (GSSF) for Better Semantic Selection for Indian regional language-based image captioning and introduced a procedure where we used the existing translation and English crowd-sourced sentences for training. We have shown that this architecture is a promising alternative source, where there is a crunch in resources. Our main contribution of this work is the development of deep learning architectures for the Bengali language (is the fifth widely spoken language in the world) with a completely different grammar and language attributes. We have shown that these are working well for complex applications like language generation from image contexts and can diversify the representation through introducing constraints, more extensive features, and unique feature spaces. We also established that we could achieve absolute precision and diversity when we use smoothened semantic tensor with the traditional LSTM and feature decomposition networks. With better learning architecture, we succeeded in establishing an automated algorithm and assessment procedure that can help in the evaluation of competent applications without the requirement for expertise and human intervention.

연구 동기 및 목표

• 벤골어처럼 영어와는 다름없는 복잡한 문법적 구조를 지닌 인도 지역어에 대한 애너테이션된 시각적 캡션 데이터셋 부족 문제 해결.
• 저자원 인도어 언어에서 시각적 캡션 모델을 훈련하기 위한 데이터 증강 전략으로 기계 번역의 타당성 탐색.
• 가우시안 기법을 사용해 희박한 의미 텐서를 스무딩함으로써 이미지 캡션을 위한 의미 표현을 향상시키는 새로운 딥러닝 아키텍처 개발.
• 비선형 문법을 지닌 비정형 언어에 특히 적합한 더 나은 의미 특징 선택 및 표현을 통해 캡션 품질 향상.
• 비영어, 저자원 언어에서의 이미지 캡션 성능 평가를 위한 자동화되고 전문가가 필요 없는 평가 프레임워크 수립.

제안 방법

• MSCOCO 데이터셋의 영문 기준 캡션에서 Google Translate API(googletrans.Translator)를 활용해 벤골어 캡션을 생성하여 합성 훈련 코퍼스 구축.
• 희박한 의미 텐서를 개선하기 위해 가우시안 스무딩을 대각 행렬에 적용함으로써 더 조밀하고 정보량이 많은 표현으로 변환하는 가우시안 스무딩 의미 특징(GSSF) 적용.
• GSSF를 두 가지 새로운 LSTM 기반 아키텍처인 GST-LSTM(가우시안 스무딩 시간적 LSTM)과 GSSCN-LSTM(가우시안 스무딩 의미 컨볼루션 네트워크-LSTM)에 통합하여 특징 학습 향상.
• 벤골어-영어 매핑을 위한 사전 훈련된 Stanford GloVe 단어 임베딩 활용, 점진적 스무딩을 통해 의미 일관성 향상 및 희박성 감소.
• 표준 BLEU-4, BLEU-1, CIDEr-D, ROUGE-L 지표를 사용해 모델을 훈련 및 평가하고, 표준 LSTM 기반 모델과의 성능 비교.
• 생성된 캡션에 대한 정성적 분석을 통해 벤골어에서의 어법 정확성, 맥락 적합성, 묘사의 풍부성 평가.

실험 결과

연구 질문

• RQ1 기계 번역은 벤골어와 같이 저자원 인도어 언어에서 시각적 캡션 모델을 훈련하기 위한 데이터 생성 전략으로 효과적으로 활용될 수 있는가?
• RQ2 의미 텐서의 가우시안 스무딩은 벤골어 이미지 캡션에서 생성된 캡션의 품질과 다양성에 어떻게 기여하는가?
• RQ3 GSSF 기반 아키텍처는 BLEU, CIDEr-D, ROUGE-L 지표 측면에서 표준 LSTM 및 기타 특징 정제 방법에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 GSSF 방법은 영어와 상당히 다름없는 문법적·구조적 복잡성을 지닌 비정형 인도어 언어, 예를 들어 벤골어의 처리에 효과적으로 작용할 수 있는가?
• RQ5 모델의 정성적 출력은 인간 애너테이션 캡션과 비교해 언어적 일관성과 맥락 정확성 측면에서 어떻게 평가되는가?

주요 결과

• GST-LSTM 모델은 원본 벤골어로 생성된 캡션에서 BLEU-4 점수 0.35를 기록하여 기준 LSTM(0.31) 대비 4% 향상, GSSCN-LSTM(0.34) 대비 1% 향상.
• 영문 번역된 생성 캡션에서 GST-LSTM은 CIDEr-D 점수 0.80을 기록하여 기준 LSTM(0.62)과 GSSCN-LSTM(0.78)을 모두 초월, 기준 캡션과의 일치도 향상.
• GSSF 방법은 희박한 의미 텐서의 스무딩을 통해 의미 표현을 크게 향상시켜 더 다양한, 맥락적으로 정확한 캡션 생성 유도.
• 정성적 분석 결과, GST-LSTM이 기준 모델보다 더 묘사가 풍부하고 문법적으로 정확하며 맥락적으로 관련성이 높은 캡션 생성.
• GSSF 접근법은 고산스크리트어 어휘와 비선형 어순을 지닌 언어인 벤골어의 형태구문학적 복잡성에도 강건하게 대응함.
• 본 연구는 번역 기반 데이터와 의미 특징 스무딩을 활용한 저비용, 자동화된 시각적 캡션 모델 훈련 파이프라인의 실현 가능성을 입증함.