[論文レビュー] A Survey on Deep Learning Toolkits and Libraries for Intelligent User Interfaces

Jan Zacharias, Michael Barz+1 more|arXiv (Cornell University)|Mar 13, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 50被引用数 26

ひとこと要約

この論文は、マルチモーダルなインタラクション、インタラクティブマシンラーニング（IML）、リアルタイムでのモデル適応を重視する、インテリジェントユーザインターフェース（IUI）向けに特化したオープンソースのディープラーニングツールキットおよびライブラリのサーベイを実施している。TensorFlow、Keras、Caffeなどのフレームワークを評価し、インタラクティブなトレーニングが複雑で適応性のあるIUI向けに、ユーザーのフィードバックを反映した効率的で最適化されたモデル開発を可能にしていることを強調している。

ABSTRACT

This paper provides an overview of prominent deep learning toolkits and, in particular, reports on recent publications that contributed open source software for implementing tasks that are common in intelligent user interfaces (IUI). We provide a scientific reference for researchers and software engineers who plan to utilise deep learning techniques within their IUI research and development projects.

研究の動機と目的

• インテリジェントユーザインターフェース（IUI）開発に適したオープンソースのディープラーニングツールキットを包括的に概説すること。
• 音声、ジェスチャー、注視、タッチを含むマルチモーダルなインタラクションをサポートするライブラリおよびフレームワークを特定・評価すること。
• リアルタイムでのユーザーのフィードバックを可能にし、継続的なモデル改善を実現するインタラクティブマシンラーニング（IML）技術を検討すること。
• ディープラーニングを用いた適応的でユーザー中心のIUIを構築するための適切なツール選定を研究者および実務家にガイドすること。
• AIシステムを狭義の閉じた世界でのパフォーマンスから、現実世界のIUI応用におけるオープンで継続的学習可能な状態へと移行させる課題に対処すること。

提案手法

• 人気指標、ライセンス、およびサポートされるプログラミング言語に基づいて、TensorFlow、Keras、Caffe、MXNet、Theanoなどの主要なディープラーニングフレームワークをサーベイすること。
• 入力処理、マルチモーダル統合、コンテキストモデリング、ユーザインタラクションといった、主要なIUIアーキテクチャ要因と整合するオープンソースの貢献を分類すること。
• トレーニング中に人間のフィードバックを統合することでパフォーマンスと使いやすさを向上させる、インタラクティブマシンラーニング（IML）アプローチを評価すること。
• 注視や字幕を用いたアクティブラーニング、半教師ありラーニング、弱い監視によるアプローチを分析し、ラベル付け作業の負荷を低減すること。
• GPUアクセラレーションを備えたフレームワークや、Webインターフェースを通じたリアルタイムでのモデルパラメータ操作および可視化を可能にするフレームワークを提示すること。
• AIの知能とHCIの原則を同時に考慮するバイノキュラー・ビュー・アプローチを採用し、IUIにおけるユーザーのコントロールおよび予測可能性の維持を図ること。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルなインテリジェントユーザインターフェースを実装するにあたり、どのオープンソースのディープラーニングツールキットが最も適しているか？
• RQ2 インタラクティブマシンラーニング（IML）技術は、IUIにおけるモデルトレーニングの効率性および適応性をどのように向上させるか？
• RQ3 人間をフィードバックループに含むメカニズムは、現実世界のIUI応用におけるディープラーニングモデルのパフォーマンスおよび耐障害性をどのように向上させるか？
• RQ4 ユーザーのフィードバックおよびインタラクティブな可視化ツールは、継続的なモデル最適化を支援するためにディープラーニングワークフローにどのように統合できるか？
• RQ5 マルチモーダルでリアルタイムなIUI環境において、ディープニューラルネットワークにインタラクティブラーニングを適用するにあたり、主な課題は何か？

主な発見

• TensorFlow、Keras、Caffeは人気と使いやすさにおいて最も高い評価を受け、広範な言語サポートと活発なコミュニティ開発のおかげで、TensorFlowがベンチマーク（100%評価）として位置付けられている。
• インタラクティブマシンラーニング（IML）は、言語翻訳やオブジェクト認識タスクの事例で示されるように、リアルタイムでのユーザーのフィードバックを可能にすることで、モデルトレーニングを顕著に向上させる。
• 注視や字幕信号は、ビデオ理解のためのCNNベースのモデルを学習するための弱い監視手段として機能し、高価な手作業のラベル付けに依存するのを軽減する。
• BIDMachやカスタムWebベースのインターフェースといったGPUアクセラレーションを備えたフレームワークにより、トレーニング中にモデルパラメータを操作できるようになり、透明性とコントロール性が向上する。
• アクティブラーニングと半教師ありラーニングの統合により、マルチモーダルなIUIにおいても、ラベル付け作業の負荷を低減しながら高いモデル精度を維持できる。
• AIとHCIを同時に考慮するバイノキュラー・ビュー・アプローチにより、AI強化システムにおける予測可能性やコントロールの喪失によって引き起こされる使いやすさの低下を防げる。