[論文レビュー] Underspecification in Scene Description-to-Depiction Tasks

Ben Hutchinson, Jason Baldridge+1 more|arXiv (Cornell University)|Oct 11, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、テキストから画像を生成する際の不完全記述（underspecification）を理解するための概念的枠組みを提示する。自然言語の記述における曖昧さが、複数の妥当な視覚的解釈を生じることを主張し、多様な画像生成と視覚的曖昧さの明示的モデリングによってリスクを軽減し、マルチモーダルシステムの透明性と倫理的導入を向上させる。

ABSTRACT

Questions regarding implicitness, ambiguity and underspecification are crucial for understanding the task validity and ethical concerns of multimodal image+text systems, yet have received little attention to date. This position paper maps out a conceptual framework to address this gap, focusing on systems which generate images depicting scenes from scene descriptions. In doing so, we account for how texts and images convey meaning differently. We outline a set of core challenges concerning textual and visual ambiguity, as well as risks that may be amplified by ambiguous and underspecified elements. We propose and discuss strategies for addressing these challenges, including generating visually ambiguous images, and generating a set of diverse images.

研究の動機と目的

• マルチモーダルなテキストから画像へのシステムにおいて、不完全記述、曖昧さ、暗黙の前提に十分な注意が払われていないことへの対処。
• シーン記述から描写へのタスクにおいて、テキストと画像が意味をどのように異なる方法で伝えるかを理解するための概念的枠組みの構築。
• 不完全記述や曖昧な入力によって拡大されるリスク、例えばバイアス、攻撃的ステレオタイプ、誤情報の特定。
• 多様な画像生成や視覚的に曖昧な出力を通じた、システムの透明性とユーザーの期待を高める実用的戦略の提案。
• システムの能力と限界をよりよく定義するため、視覚芸術、デザイン、文化研究分野との協働を提唱する。

提案手法

• テキスト＋画像タスクの分類法を提案し、テキストから画像への生成が広いマルチモーダルAIの文脈における役割を明確化する。
• 画像が類似性（象徴的）と慣習（象徴的）を通じて意味を伝える方法を分析し、指す対象と概念の区別を行う。
• 言語的言語モデリングに類似した、テキストから画像モデルの解釈的・生成的機能を説明する「視覚的言語（visual language）」の概念を導入する。
• ユーザーの期待を管理するため、モデルの視覚的能力と限界（支援されるスタイルやタスクの境界）を文書化することを推奨する。
• 不完全記述されたテキストの複数の解釈を反映するために、1つの入力に対して複数の多様な画像を生成する戦略を提案する。
• 有害な出力を検出・緩和するため、文化的に多様な評価者を用いた敵対的入力によるストレステストを提唱する。

実験結果

リサーチクエスチョン

• RQ1 テキスト的曖昧さと視覚的曖昧さは、テキストから画像への生成システムにどのように異なる影響を与えるか？
• RQ2 シーン記述から描写へのタスクにおいて、不完全記述が拡大する倫理的リスクは何か？
• RQ3 マルチモーダルシステムは、不完全記述された記述の解釈の範囲をどのようによりよく表現できるか？
• RQ4 『視覚的言語』は、テキストから画像モデルの能力と限界を定義する上で果たす役割は何か？
• RQ5 システム開発者は、本質的な曖昧さに直面した際に、透明性をどのように向上させ、ユーザーの期待をどのように管理できるか？

主な発見

• テキストから画像のモデルは、自然言語の記述に含まれる曖昧さや不完全記述を反映し、複数の妥当ではあるが異なる視覚的出力を生成することが多い。
• 本論文は、非攻撃的と思われる入力でも、モデルのバイアスと組み合わさると、攻撃的な出力が生じる可能性があることを特定している。たとえば、「怒った黙示録の黒人女性」といった有害なステレオタイプを強化する可能性がある。
• 1つの入力に対して多様な画像を生成することで、不完全記述された記述の妥当な解釈の範囲をよりよく表現できる。
• 生成された画像における視覚的曖昧さは、自然言語の解釈の柔軟性を反映するものとして、欠陥ではなく特徴となることがある。
• 文化的に多様な評価者を用いたきめ細かいストレステストにより、有害またはバイアスのあるモデル行動の検出が向上する。
• 支援されるスタイルやタスクの境界を含む、モデルの視覚的能力の明示的文書化は、ユーザーの期待を管理し、誤用のリスクを低減するために不可欠である。