[論文レビュー] Manga109Dialog: A Large-scale Dialogue Dataset for Comics Speaker Detection

Yingxuan Li, Kiyoharu Aizawa+1 more|arXiv (Cornell University)|Jun 30, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、132,692組の発話者-テキストペアを含む、世界最大のマンガ発話者検出データセット『Manga109Dialog』を紹介し、フレームの読む順序を組み込んだシーングラフ生成（SGG）を用いた深層学習手法を提案する。この手法は予測精度が75％以上に達し、特に発話者がテキストと同一フレームにない困難なケースにおいて、ルールベースのベースラインを顕著に上回る。

ABSTRACT

The expanding market for e-comics has spurred interest in the development of automated methods to analyze comics. For further understanding of comics, an automated approach is needed to link text in comics to characters speaking the words. Comics speaker detection research has practical applications, such as automatic character assignment for audiobooks, automatic translation according to characters' personalities, and inference of character relationships and stories. To deal with the problem of insufficient speaker-to-text annotations, we created a new annotation dataset Manga109Dialog based on Manga109. Manga109Dialog is the world's largest comics speaker annotation dataset, containing 132,692 speaker-to-text pairs. We further divided our dataset into different levels by prediction difficulties to evaluate speaker detection methods more appropriately. Unlike existing methods mainly based on distances, we propose a deep learning-based method using scene graph generation models. Due to the unique features of comics, we enhance the performance of our proposed model by considering the frame reading order. We conducted experiments using Manga109Dialog and other datasets. Experimental results demonstrate that our scene-graph-based approach outperforms existing methods, achieving a prediction accuracy of over 75%.

研究の動機と目的

• 特に日本語マンガを対象とした、大規模かつ高品質な発話者-テキストアノテーションデータセットの不足に応えること。
• 空間的距離に依存するのみのルールベース手法の限界を克服し、複雑なマンガレイアウトに対しても有効な手法を開発すること。
• 視覚的関係性や読み順といったマンガ固有の構造的特徴を活用した、深層学習ベースの発話者検出フレームワークを構築すること。
• 難易度レベルに応じたテストセットの階層的分割と、手法間の公平な比較を可能にする特化した指標を用いて、新たな評価ベンチマークを確立すること。
• 今後のNLP統合のための基盤を提供するため、視覚のみの発話者検出が有効であることを示す。

提案手法

• Manga109データセットに基づき、132,692組の発話者-テキストアノテーションを含む、新規の大規模データセット『Manga109Dialog』を構築した。
• キャラクター（主語）、テキスト（目的語）およびそれらの空間的関係性を検出するため、シーングラフ生成（SGG）ベースのモデルを提案した。
• 複雑なレイアウトにおける予測精度向上を目的に、フレームの読む順序を構造的事前知識としてSGGモデルに統合した。
• マンガ発話者検出に特化した新しい評価指標を設計し、1ページあたりのテキスト数を基準にした再現率に注目した。
• 予測の難易度に応じてテストセットを「Easy」と「Hard」に分割した。具体的には、発話者がテキストと同じフレーム内にいるかどうかを基準とした。
• オブジェクト検出と関係性予測の両方の損失関数を組み合わせたクロスエントロピー損失を用いてモデルを学習した。

Figure 1: An example of speaker detection. ©Akamatsu Ken.

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシーングラフ生成モデルは、従来のルールベース手法よりもマンガ発話者検出で優れた性能を示せるか？
• RQ2 フレームの読む順序を組み込むことで、特に複雑なレイアウトにおいて発話者検出の精度がどの程度向上するか？
• RQ3 発話者がテキストと同一フレームにない場合を含め、異なる難易度レベルにおける本手法の性能はどのように変化するか？
• RQ4 本手法で提案された評価指標は、従来の指標よりも信頼性が高く、情報量が多いと言えるか？
• RQ5 視覚のみの手法が、今後のNLP統合アプローチのための基盤として十分な性能を発揮できるか？

主な発見

• 提案手法であるSGGベースのモデルは、全テストセットで75.69％の予測精度を達成し、最良のルールベース手法（フレーム距離を用いた71.53％）を上回った。
• 発話者がテキストと同一フレームにない「Hard」サブセットでは、本手法が30.65％の再現率を達成したのに対し、フレーム距離ルールベース手法は22.06％にとどまった。
• フレームの読む順序を組み込むことで、全セットで0.12％、特に「Hard」サブセットで1.10％の精度向上が見られ、順序的なマンガ構造をモデル化する価値が裏付けられた。
• 「Easy」と「Hard」の両サブセットにおいて、本手法はルールベース手法を上回った。特に、最も近いキャラクターが実際の発話者でないケースで顕著な優位性を示した。
• 新規に提案した評価指標は、ルールベース手法と深層学習手法の性能差を的確に捉え、両手法間の公平な比較を可能にした。
• 改善は見られたが、登場人物の対話が交互に発生する場面や、非隣接の発話者間の検出において課題が残っており、今後のNLP統合の余地が示唆された。

(a) Abe’s annotations (character-to-text).