[論文レビュー] Charon: a FrameNet Annotation Tool for Multimodal Corpora

Frederico Belcavello, Marcelo Viridiano+2 more|arXiv (Cornell University)|May 24, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

Charon は、FrameNet フレームとフレーム要素を用いて静的画像および動画、テキストコーパスを細かく意味的にラベル付けできる、ウェブベースの FrameNet 互換のアノテーションツールです。静的画像とキャプションのペairリングおよび動的動画シーケンスの両方をサポートし、コンピュータビジョンのオブジェクト検出と人間によるフィードバックを組み合わせることで、意味的に豊富なマルチモーダルデータセットを構築します。主な貢献は FN-Br WebTool との互換性および、Framed Multi 30k と Frame 2 の2つの新しいデータセットの作成です。

ABSTRACT

This paper presents Charon, a web tool for annotating multimodal corpora with FrameNet categories. Annotation can be made for corpora containing both static images and video sequences paired - or not - with text sequences. The pipeline features, besides the annotation interface, corpus import and pre-processing tools.

研究の動機と目的

• テキストとペアリングされた静的画像および動画シーケンスを含むマルチモーダルコーパスへの FrameNet アノテーションの拡張。
• FrameNet の意味的粒度と視覚的データのアノテーションを統合するツールの不足を解消すること。
• FrameNet フレームとフレーム要素を用いた視覚的オブジェクトのヒューマンインザループアノテーションを支援すること。
• テキスト、視覚的データ、フレームベースのアノテーションを統合したウェブベースのインターフェースでリンク可能にすること。
• NLP やマルチモーダル理解分野の研究を支援する高品質で意味的にアノテートされたマルチモーダルデータセットの作成。

提案手法

• Charon は、静的モード（画像・キャプションペア）と動的モード（動画シーケンス）の2モジュールアーキテクチャを採用。
• コーパスは、画像、テキストキャプション、およびバウンディングボックスアノテーションを含むXMLファイルを含むZIPファイルとしてインポート。
• 事前処理では、テキスト内の語の意味的フレームを自動的に割り当てるための、意味の曇りを解消するアルゴリズム（DAISY）を採用。
• アノテーターは視覚的オブジェクトに対して FrameNet フレームとフレーム要素を割り当て、オプションでコンピュータビジョン（CV）名ラベルを用いてオブジェクト認識を支援。
• フレーム要素のヌルインスタンス化をサポートし、テキストに言及されていないが視覚的に推定可能なフレーム要素をアノテート可能に。
• FN-Br WebTool との統合により、既存の FrameNet ワークフローおよびデータベースとの互換性を確保。

実験結果

リサーチクエスチョン

• RQ1 どのようにして FrameNet アノテーションを静的画像および動画などの視覚的モダリティに拡張できるか？
• RQ2 マルチモーダルデータに対して FrameNet の意味的粒度で効率的なヒューマンインザループアノテーションを実現するための技術的およびインターフェース設計の選択は何か？
• RQ3 テキストに明示的に言及されていなくても、視覚的データにおけるフレーム要素をどのように意味的にアノテートできるか？
• RQ4 フレームおよびフレーム要素レベルでのテキストと視覚的アノテーションの整合性をとる上で直面する実用的課題は何か？
• RQ5 FrameNet を基盤とするアノテーションパイプラインを用いて、マルチモーダルデータセットを体系的に構築する方法は何か？

主な発見

• Charon は、静的画像および動画シーケンスの両方に対して、FrameNet フレームとフレーム要素のアノテーションを成功裏に実施し、テキストと視覚的モダリティ間の意味的整合性を達成した。
• フレーム要素のヌルインスタンス化をサポートしており、テキストに言及されていないが視覚的に存在するフレーム要素をアノテーターがマーク可能となり、意味的豊かさが向上した。
• FrameNet アノテーションとコンピュータビジョン名（CV Names）の統合により、視覚的データにおけるオブジェクト認識と意味的接地性が向上した。
• Charon を用いて2つの新しいデータセットが作成された：Framed Multi 30k は、Flickr30K Entities データセットに 155,070 組のポルトガル語（ブラジル）および英語-ポルトガル語の記述を追加したものであり、Frame 2 は旅行番組のテレビシリーズから得た 12,200 組のテキストおよび 5,000 組の画像アノテーションセットを含む。
• FN-Br WebTool との互換性が確認され、既存の FrameNet ワークフローおよび世界的な FrameNet アノテーション活動へのシームレスな統合が可能であることが示された。
• Charon のアーキテクチャは、スケーラブルな大規模マルチモーダルデータアノテーションを可能としており、今後はマシンビジョンモデルからのメタデータ統合をさらに進める計画である。