[論文レビュー] A System for Automated Image Editing from Natural Language Commands

Jacqueline Brixey, Ramesh Manuvinakurike+4 more|arXiv (Cornell University)|Dec 3, 2018

Multimodal Machine Learning Applications参考文献 11被引用数 6

ひとこと要約

本論文では、自然言語による画像編集コマンドを解釈する二段階のシステムを提示している。まず編集アクションを分類し、その後機械学習を用いて関連するエンティティを特定する。最高の性能を示したモデルは、アクション分類でLSTMおよびSVM（F1 = 0.89）、エンティティシーケンス検出でBiLSTM-CRF（内側のエンティティでのF1 = 0.73）であり、技術的専門知識がなくてもユーザーの要請を自動的に実行可能である。

ABSTRACT

This work presents the task of modifying images in an image editing program using natural language written commands. We utilize a corpus of over 6000 image edit text requests to alter real world images collected via crowdsourcing. A novel framework composed of actions and entities to map a user's natural language request to executable commands in an image editing program is described. We resolve previously labeled annotator disagreement through a voting process and complete annotation of the corpus. We experimented with different machine learning models and found that the LSTM, the SVM, and the bidirectional LSTM-CRF joint models are the best to detect image editing actions and associated entities in a given utterance.

研究の動機と目的

• 非専門家ユーザーが技術的ソフトウェアコマンドの代わりに自然言語を用いて画像編集できるようにすること。
• 大規模な画像編集リクエストコーパスにおけるアノテーションの不一致を解消し、ラベル付けを完了すること。
• 自然言語の発話から実行可能な画像編集アクションおよびエンティティにマッピングする機械学習パイプラインを開発すること。
• さまざまなモデルが画像編集アクションの分類および関連するエンティティの検出においてどの程度の性能を示すかを評価すること。
• 今後の画像編集対話におけるアクションとエンティティの共同モデリングの基盤を築くこと。

提案手法

• システムは二段階のフレームワークを採用している：まず画像編集アクション（例：クロップ、調整、削除）を分類し、その後そのアクションに関連するエンティティ（例：領域、オブジェクト、修飾子/値）を特定する。
• 自然言語フレーズを18種の事前定義アクションおよび5種のエンティティタイプにマッピングする新規アノテーションフレームワークを提案し、ネストおよび重複するラベルをサポートする。
• アクション分類モデルでは、TensorFlowおよびScikit-learnを用いてLSTM、SVM、ロジスティック回帰、ランダムフォレストの性能を評価した。
• エンティティ検出モデルでは、標準的なCRFと最先端のBiLSTM-CRFモデルを比較し、エンティティのシーケンスラベリングの精度を向上させた。
• 9,101件の編集リクエストから成るコーパスは、アクション分類には学習（75%）、検証（10%）、テスト（15%）に分割された。エンティティデータは学習80%、検証10%、テスト10%に分割された。
• ネストされたエンティティの場合、評価には内側のラベルのみを用い、一貫性のある性能比較を保証した。

実験結果

リサーチクエスチョン

• RQ1 自然言語による画像編集リクエストは、画像編集ソフトウェアの実行可能アクションおよびエンティティに正確にマッピング可能か？
• RQ2 非構造化テキストから画像編集アクションを分類する際、どの機械学習モデルが最も優れた性能を示すか？
• RQ3 BiLSTM-CRFモデルは、ネストされたまたは曖昧なリクエストにおいて、エンティティのシーケンス検出にどの程度効果的か？
• RQ4 二段階モデルアーキテクチャは、曖昧または実行不能なアクションをフィルタリングすることで、どの程度の耐性向上を実現するか？
• RQ5 本システムは、技術用語を必要とせず、多様で現実世界の自然言語のバリエーションを処理できるか？

主な発見

• LSTMおよびSVMモデルは、アクション分類で最高のF1スコア0.89を達成し、ロジスティック回帰（0.87）およびランダムフォレスト（0.58）を上回った。
• BiLSTM-CRFモデルは、内側のエンティティのみを検出する場合、F1スコア0.73を達成し、ベースラインのCRFモデル（0.66）を顕著に上回った。
• LSTMモデルは、データセットのクラス不均衡にもかかわらず、「回転」のような低頻度アクションを高い正確性で正しく分類できた。
• システムは、命令形、助動詞形、記述形の言語的バリエーションに対しても耐性があり、例として「画像がぼやけている」や「キーブレッドのゾウにズームイン」のような発話に対応できた。
• フレームワークは重複およびネストされたラベルをサポートしており、同じ単語がアクションおよび修飾子/値エンティティの両方としてアノテート可能であるため、解釈の柔軟性が向上した。
• 結果から、アクションとエンティティの共同モデルがさらなる性能向上をもたらす可能性があることが示唆され、対話的編集シナリオにおけるトランスファーラーニングも今後の有望な方向性である。