[論文レビュー] Sharkzor: Interactive Deep Learning for Image Triage, Sort and Summary

Meg Pirrung, Nathan Hilliard+5 more|arXiv (Cornell University)|Feb 14, 2018

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

Sharkzor は、自由なドラッグとグループ化によるユーザーのメンタルモデルの埋め込みを通じて、大規模な画像コレクションのトリアージ、整理、要約を可能にするウェブベースのインタラクティブなディープラーニングシステムである。本システムは、トランスファーラーニング、フェイシュートラーニング、および t-SNE 次元削減を用い、ユーザーのインタラクションに応じて動的に画像を再配置・自動グループ化する。最小限のラベル付き例で高い精度を達成するとともに、信頼度の可視化とヒートマップにより、モデルの意思決定を解釈可能にする。

ABSTRACT

Sharkzor is a web application for machine-learning assisted image sort and summary. Deep learning algorithms are leveraged to infer, augment, and automate the user's mental model. Initially, images uploaded by the user are spread out on a canvas. The user then interacts with the images to impute their mental model into the application's algorithmic underpinnings. Methods of interaction within Sharkzor's user interface and user experience support three primary user tasks; triage, organize and automate. The user triages the large pile of overlapping images by moving images of interest into proximity. The user then organizes said images into meaningful groups. After interacting with the images and groups, deep learning helps to automate the user's interactions. The loop of interaction, automation, and response by the user allows the system to quickly make sense of large amounts of data.

研究の動機と目的

• ユーザーの個人的なメンタルモデルに基づいて、大規模な画像コレクションを整理するのを支援する、ヒューマンインザループシステムの開発。
• フェイシュートラーニングとトランスファーラーニングを活用することで、手動での画像ラベリングの負担を軽減し、ユーザー定義のグループ化に迅速に適応する。
• 信頼度スコアの可視化と自動グループ化意思決定へのフィードバックを提供することで、ディープラーニングモデルの解釈可能性を高める。
• ユーザーが機械学習の補助をいつ、どのように行うかを制御できる柔軟で、規範的でないワークフローを実現する。
• ユーザーのインタラクションを通じたアクティブラーニングと事前クラスタリングを組み合わせることで、スケーラブルな画像トリアージと要約を実現する。

提案手法

• 事前クラスタリングでは、ImageNet で事前学習された深層オートエンコーダーを用いて画像を 256 次元に圧縮し、その後 PCA を適用して 8 次元に削減。その後 t-SNE を用いて 2 次元の埋め込みを生成し、初期キャンバスレイアウトを生成する。
• フェイシュートラーニングは、テスト画像がユーザー定義のグループに属する確率を計算するシアンペアネットワークを用いて実装され、固定されたクラス数制限なしに動的で多クラス分類を可能にする。
• 本システムは、すべてのディープラーニングコンponentsの初期化に、事前学習済みの ResNet-50 モデルからの特徴抽出を用いることでトランスファーラーニングを実装し、強固な特徴表現を確保する。
• 自動グループ化は、モデルが画像をグループに割り当てる信頼度がしきい値を超えた場合に発火し、フィードバックループによりユーザーがグループ化を精緻化できる。
• 信頼度の可視化とヒートマップオーバーレイを用いて、モデルの意思決定を解釈可能にする。ユーザーがモデルの不確実性や高い信頼度の領域を把握できる。
• システムはモジュール型のマイクロサービスアーキテクチャとして設計されており、画像処理および学習タスクのスケーラブルなデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのような方法でディープラーニングシステムが、大量のラベル付きデータを必要とせずに、ユーザーの画像整理に関する個人的なメンタルモデルを効果的に学習・適応できるか？
• RQ2 どのようなインタラクティブデザインパターンが、ユーザーが複雑で任意の画像グループ化を機械学習システムに効率的に伝えるのを可能にするか？
• RQ3 モデルの信頼度と不確実性をどのように可視化すれば、自動画像分類意思決定に対するユーザーの信頼と理解を向上させられるか？
• RQ4 フェイシュートラーニングとトランスファーラーニングを次元削減と組み合わせることで、高速でスケーラブルな画像トリアージと要約をどの程度実現できるか？
• RQ5 ヒューマンインザループシステムは、手動でのラベリングの必要性を減らしつつも、画像整理タスクにおける高い精度を維持できるか？

主な発見

• Sharkzor は、フェイシュートラーニングを活用することで、事前に定義されたラベルなしにグループ化を推論可能であり、初期段階でたった 2 枚の画像のみでユーザーが画像を整理できる。
• オートエンコーダーによる圧縮とその後の PCA を通じた多段階パイプラインにより、高次元の画像データに対する t-SNE の計算負荷を軽減し、初期画像レイアウトのための効率的な 2 次元埋め込みを実現した。
• 自動グループ化機能により、既存のユーザー定義グループとの類似性に基づいて新しいグループメンバーシップを提案することで、作業効率が向上した。信頼度のしきい値により、誤った割り当てを防止した。
• 信頼度の可視化とヒートマップオーバーレイにより、ユーザーはモデルの意思決定に関するリアルタイムのインサイトを得られ、透明性が向上し、システムの挙動を修正・精緻化できるようになった。
• 最小限のラベル付き例で高いパフォーマンスを達成した。ユーザーが提供するメンタルモデルが、ディープラーニングモデルによって効果的にエンコードされ、一般化可能であることが示された。
• 機械学習の補助機能をユーザーの自然なワークフローに統合することで、明示的なトレーニングの必要性が軽減され、柔軟で非線形なタスク実行が可能になった。