[論文レビュー] DeepTingle

Ahmed Khalifa, Gabriella A. B. Barros+1 more|arXiv (Cornell University)|May 9, 2017

Video Analysis and Summarization被引用数 11

ひとこと要約

DeepTingle は、チャック・ティングルのファンタジー的で露骨かつ風変わりなゲイ・エロティカの全作品を学習データとして用いた、テキスト予測および生成システムである。LSTMベースのモデルにGloVe埋め込みを組み合わせ、シュルレ的でティングル風の物語を生成し、古典的文学作品を彼の文体に再解釈することで、主流のAIライティングツールに内蔵された隠れた規範を露呈する。これは、それらツールの「中立性」を仮定するのをくつがえすものである。

ABSTRACT

DeepTingle is a text prediction and classification system trained on the collected works of the renowned fantastic gay erotica author Chuck Tingle. Whereas the writing assistance tools you use everyday (in the form of predictive text, translation, grammar checking and so on) are trained on generic, purportedly "neutral" datasets, DeepTingle is trained on a very specific, internally consistent but externally arguably eccentric dataset. This allows us to foreground and confront the norms embedded in data-driven creativity and productivity assistance tools. As such tools effectively function as extensions of our cognition into technology, it is important to identify the norms they embed within themselves and, by extension, us. DeepTingle is realized as a web application based on LSTM networks and the GloVe word embedding, implemented in JavaScript with Keras-JS.

研究の動機と目的

• チャック・ティングルの非常に非中立的でスタイルが一貫したコピーライトを学習データとして用いることで、訓練データの規範がAIライティングアシスタントにどのように影響を与えるかを調査すること。
• 意図的に奇抜な文学的データセットを用いて訓練することで、予測テキストや文法チェックツールにおける「中立性」の仮定を揺るがすこと。
• チャック・ティングルの独自な声を再現する機能的なライティングアシスタントツールを構築し、AIモデルに内在するスタイル的・テーマ的バイアスを浮き彫りにすること。
• 主流の規範を強制するのではなく、風変わりで反逆的、あるいはマイノリティの声を強調するようなAIツールの可能性を探ること。
• 標準英語のテキストをティングルの世界観に変換する「ティングル翻訳機」を構築すること。これは語彙置換と埋め込み転送を用いる。

提案手法

• 長短期記憶（LSTM）ネットワークを用いた6層の深層ニューラルネットワークを、系列モデルとして訓練した。
• GloVe語彙埋め込みを用いて、語を連続的ベクトル空間に表現し、ティングルのコピーライトから得られる意味的・文法的パターンを捉えた。
• Keras-JSを用いてリアルタイムの予測テキストインターフェースを実装し、文脈に基づいた即時語の提案を可能にした。
• 語彙外の語をティングル風の同等語に置き換える語置換機構を導入し、生成出力が常にティングルのスタイル的世界観に収まるようにした。
• ハイブリッド生成戦略を採用：語彙外の語はスキップするか、意味的に妥当なティングル風の代替語に置き換える。
• 「ティングル翻訳機」プロトタイプを構築し、埋め込み空間のマッピングとスタイル転送技術を用いて、標準英語のテキストをティングルの物語的スタイルに変換した。

実験結果

リサーチクエスチョン

• RQ1 チャック・ティングルの非常に非中立的で風変わりな文学的コピーライトを学習データとして用いた予測テキストモデルは、主流のAIライティングツールに内蔵された規範をどのように露呈するのか？
• RQ2 文法・物語構造・主題の観点から従来の基準を逸脱するコピーライトから、ニューラルネットワークが一貫性がありスタイルが統一されたテキストをどれほど正確に学習・生成できるのか？
• RQ3 語置換機構は、意味的意味を効果的に保持しながら、ティングルのスタイル的世界観にテキストを変換できるのか？
• RQ4 「中立的」なデータセットではなく、反逆的でマイノリティ志向のコピーライトで訓練されたライティングアシスタントを使用した場合、どのような質的・知覚的効果が生じるのか？
• RQ5 このようなシステムは、AIが人間の創造性や言語表現をどのように形作っているかという役割を、どのように挑戦または再定義できるのか？

主な発見

• 本システムは、『恐竜の性行為』や『チョコレートミルクのカウボーイ』といったシュルレ的で露骨な内容を含む、チャック・ティングルの声を忠実に再現した一貫性のある物語を生成できた。
• 語置換により、語彙外の語による生成の停止を著しく軽減し、置換あり・なしの出力比較でその有効性が実証された。
• 例として、『私にイシュマエルと呼んで』という古典的文学の名文が、激しいゲイ・セックス、身体的ホラー、奇妙な比喩を含むティングル風の物語に変容した。
• 多様な入力に対してもスタイルの一貫性を維持しており、ティングルの文章が奇抜であっても強い内部的論理と物語的リズムを持つことが示された。
• ティングル翻訳機プロトタイプは、非ティングル語をスタイル的に適切な代替語に置き換えることで、標準英語のテキストをティングルの世界観に効果的にマッピングし、物語の流れを保った。
• 研究者らは、DeepTingleの主な価値は定量的指標ではなく、直接的で体験的な相互作用を通じて、AIライティングツールに埋め込まれた規範についての省察を促すことにあると結論づけた。