[論文レビュー] Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework

Chiranjib Sur|arXiv (Cornell University)|Feb 16, 2020

Multimodal Machine Learning Applications参考文献 72被引用数 4

ひとこと要約

本論文は、インドの言語としてのベンガル語（複雑な文法を持つ）における視覚的キャプション生成を向上させるために、スパースな意味的テンソルのガウス平滑化を用いて意味的表現を精錬する、ガウス平滑化意味的特徴（GSSF）を提案する。MSCOCOデータセットからの翻訳済み英語キャプションと微調整されたLSTMベースのモデルを用い、GSSFはキャプション品質を向上させた—ベースラインLSTMに対して4%のBLEU-4向上、GSSCN-LSTMに対して1%の向上を達成—、低リソースかつ非構造的な言語環境下での有効性を示した。

ABSTRACT

In this work, we have introduced Gaussian Smoothen Semantic Features (GSSF) for Better Semantic Selection for Indian regional language-based image captioning and introduced a procedure where we used the existing translation and English crowd-sourced sentences for training. We have shown that this architecture is a promising alternative source, where there is a crunch in resources. Our main contribution of this work is the development of deep learning architectures for the Bengali language (is the fifth widely spoken language in the world) with a completely different grammar and language attributes. We have shown that these are working well for complex applications like language generation from image contexts and can diversify the representation through introducing constraints, more extensive features, and unique feature spaces. We also established that we could achieve absolute precision and diversity when we use smoothened semantic tensor with the traditional LSTM and feature decomposition networks. With better learning architecture, we succeeded in establishing an automated algorithm and assessment procedure that can help in the evaluation of competent applications without the requirement for expertise and human intervention.

研究の動機と目的

• ベンガル語のようなインドの地方言語におけるアノテート済み視覚的キャプションデータセットの不足に取り組む。これらの言語は英語とは顕著に異なる複雑な文法的構造を持つ。
• 機械翻訳が、低リソースのインド言語における視覚的キャプションモデルのトレーニングにおけるデータ拡張戦略として実用的かどうかを検討する。
• ガウス技術を用いてスパースな意味的テンソルを平滑化することで、画像キャプションのための意味的表現を向上させる、新しいディープラーニングアーキテクチャの開発。
• 特に非線形構文を持つ非構造的言語向けに、より良い意味的特徴選択と表現を実現することで、キャプション品質を向上させる。
• 非英語・低リソース言語における画像キャプションのパフォーマンスを評価する、自動的かつ専門家不要のフレームワークの構築。

提案手法

• Google Translate API（googletrans.Translator）を用いて、MSCOCOデータセットの英語リファレンスキャプションからベンガル語キャプションを生成し、合成トレーニングコーパスを構築する。
• ガウス平滑化意味的特徴（GSSF）を適用し、スパースな意味的テンソルをガウス平滑化を施した対角行列に適用することで、より密で情報量の多い表現に変換する。
• GSSFを2つの新しいLSTMベースのアーキテクチャ、GST-LSTM（ガウス平滑化時系列LSTM）およびGSSCN-LSTM（ガウス平滑化意味的畳み込みネットワーク-LSTM）に統合し、特徴学習を強化する。
• ベンガル語-英語マッピングに事前学習済みStanford GloVe単語埋め込みを用い、段階的平滑化により意味的一致性を向上させ、スパarsityを低減する。
• 標準的な指標（BLEU-4、BLEU-1、CIDEr-D、ROUGE-L）を用いてモデルをトレーニングおよび評価し、標準LSTMベースラインと性能を比較する。
• 生成されたキャプションの定性的分析を行い、ベンガル語における文法的正しさ、文脈的関連性、記述の豊かさを評価する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳は、ベンガル語のような低リソースのインド言語における視覚的キャプションモデルのトレーニングにおける、データ生成戦略として効果的に活用できるか？
• RQ2 意味的テンソルのガウス平滑化は、ベンガル語画像キャプションの生成キャプションの質と多様性をどのように向上させるか？
• RQ3 GSSFベースのアーキテクチャは、BLEU、CIDEr-D、ROUGE-L指標において、標準LSTMおよび他の特徴精錬手法をどの程度上回るか？
• RQ4 GSSF手法は、英語とは顕著に異なる文法的・構文的複雑さを持つ非構造的インド言語（例：ベンガル語）を効果的に処理できるか？
• RQ5 生成キャプションの定性的な出力は、人間がアノテートしたキャプションと比較して、文語的整合性および文脈的正確性においてどの程度優れているか？

主な発見

• GST-LSTMモデルは、オリジナルのベンガル語で生成されたキャプションでBLEU-4スコア0.35を達成し、ベースラインLSTM（0.31）に対して4%向上、GSSCN-LSTM（0.34）に対して1%向上を記録した。
• 英語に翻訳された生成キャプションでは、GST-LSTMがCIDEr-Dスコア0.80を達成し、ベースラインLSTM（0.62）およびGSSCN-LSTM（0.78）を上回り、リファレンスキャプションとの整合性が優れていることを示した。
• GSSF手法は、スパースな意味的テンソルの平滑化により意味的表現を顕著に向上させ、より多様で文脈的に正確なキャプション生成を可能にした。
• 定性的分析により、GST-LSTMがベースラインモデルよりも記述が豊かで、文法的に正しく、文脈的に関連性が高いキャプションを生成することが確認された。
• GSSFアプローチは、サーンスクリット語由来の語彙が多く、非線形語順を持つベンガル語の形態文法的複雑さに対しても、頑健に機能した。
• 本研究は、翻訳ベースのデータと意味的特徴の平滑化を用いることで、低リソースのインド言語における視覚的キャプションモデルのトレーニングに実用的で、自動的かつ低コストなパイプラインを確立した。