[論文レビュー] Perceptual Visual Interactive Learning

Shenglan Liu, Xiang Liu+5 more|arXiv (Cornell University)|Oct 25, 2018

Image Retrieval and Classification Techniques参考文献 45被引用数 6

ひとこと要約

本論文は、ゲシュタルト原理と多次元削減を用いて人間の知覚と認知を支援する、Perceptual Visual Interactive Learning (PVIL) と呼ばれる新しいフレームワークを提案する。このフレームワークは、少量ラベルデータ（SLQ）機械学習タスクにおけるラベル付けの正確性と効率性を向上させる。PVILは従来のラベル伝搬手法を上回り、実世界のデータセットにおいてPVILが生成したラベルを用いて最大97.5%の分類精度を達成し、真値に近い性能に到達した。

ABSTRACT

Supervised learning methods are widely used in machine learning. However, the lack of labels in existing data limits the application of these technologies. Visual interactive learning (VIL) compared with computers can avoid semantic gap, and solve the labeling problem of small label quantity (SLQ) samples in a groundbreaking way. In order to fully understand the importance of VIL to the interaction process, we re-summarize the interactive learning related algorithms (e.g. clustering, classification, retrieval etc.) from the perspective of VIL. Note that, perception and cognition are two main visual processes of VIL. On this basis, we propose a perceptual visual interactive learning (PVIL) framework, which adopts gestalt principle to design interaction strategy and multi-dimensionality reduction (MDR) to optimize the process of visualization. The advantage of PVIL framework is that it combines computer's sensitivity of detailed features and human's overall understanding of global tasks. Experimental results validate that the framework is superior to traditional computer labeling methods (such as label propagation) in both accuracy and efficiency, which achieves significant classification results on dense distribution and sparse classes dataset.

研究の動機と目的

• 少量ラベルデータ（SLQ）機械学習におけるデータラベリングの主要なボトル neck を解決すること。特にディープラーニングモデルに焦点を当てる。
• 視覚的データラベリングにおける人間の知覚と機械の理解の間の意味的ギャップを縮小すること。
• 人間の知覚的強みと計算の正確性を統合した、より効率的かつ正確なラベリングフレームワークを開発すること。
• 知覚に基づくラベリングが従来のラベル伝搬手法に比べ、正確性と効率性の両面で優れていることを検証すること。

提案手法

• PVILフレームワークは、人間の全体的知覚を模倣するように設計されたインタラクション戦略を、ゲシュタルト原理を用いて構築する。
• 多次元削減（MDR）を適用してデータ可視化を最適化し、複雑なデータ構造の明確なクラスタリングとラベリングを可能にする。
• ユーザーは、局所的類似度計算を徹底的に行わず、知覚的グルーピングと全体構造に基づいてインタラクティブにデータをラベル付ける。
• コンピュータの微細な特徴への感受性と、人間の全体的パターンや多様体構造の認識能力を組み合わせる。
• ラベル付け結果は、PVILが生成したラベルと真値ラベルを用いて訓練された標準分類器（例：CNN、GBDT）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の視覚における知覚的および認知的プロセスをどのように活用することで、SLQ学習におけるラベリングの効率性と正確性を向上させられるか？
• RQ2 従来のメトリックベース手法と比較して、ゲシュタルト原理は視覚的インタラクティブラベリングの効果性をどの程度向上させるか？
• RQ3 ラベル伝搬と比較して、計算コストを削減しながら真値ラベルに近い分類性能をPVILが達成できるか？
• RQ4 MDRと知覚的インタラクションの統合は、密度の高いおよび疎なクラス分布におけるラベリングプロセスにどのように影響を与えるか？

主な発見

• LeNet CNNを用いたMNISTデータセットにおいて、PVILは自ら生成したラベルを用いて97.5%の分類精度を達成し、真値ラベルの99.01%に近い性能に到達した。
• PVILは1人のユーザーグループあたり平均494.1秒のラベリング時間を要したが、同じデータセットでラベル伝搬を用いた場合の1776.1秒と比べ、著しく優れていた。
• PVILのラベリングにおける誤検出（ファルスネガティブ）は、主に多様体の境界に位置しており、孤立または曖昧なサンプルは人間の知覚に対しても依然として困難であることが示された。
• 特にクラス分布が疎で高次元のデータにおいて、PVILはラベル伝搬を上回る優れた性能を示した。
• ゲシュタルトに基づくインタラクションとMDRの統合により、冗長な類似度計算を最小限に抑えながら、96.5%の高いラベリング正確性（未ラベルデータの99.5%をカバー）を維持できた。