[論文レビュー] Learning Concept Embeddings with Combined Human-Machine Expertise

Michael J. Wilber, Iljung S. Kwak+2 more|arXiv (Cornell University)|Sep 24, 2015

Data Stream Mining Techniques参考文献 35被引用数 6

ひとこと要約

この論文では、人間が提供する三つ組制約と機械が生成する類似度カーネルを組み合わせることで、低次元の概念埋め込みを生成する新しいアルゴリズムSNaCKを紹介する。深層学習による視覚特徴と専門家のヒントを活用することで、SNaCKはCUB-200におけるラベル誤り検出や、食の嗜好の把握、絵文字の分類といった概念学習タスクで、従来の手法よりもはるかに少ない人間の監視を要しながらも、最先端の性能を達成する。

ABSTRACT

This paper presents our work on "SNaCK," a low-dimensional concept embedding algorithm that combines human expertise with automatic machine similarity kernels. Both parts are complimentary: human insight can capture relationships that are not apparent from the object's visual similarity and the machine can help relieve the human from having to exhaustively specify many constraints. We show that our SNaCK embeddings are useful in several tasks: distinguishing prime and nonprime numbers on MNIST, discovering labeling mistakes in the Caltech UCSD Birds (CUB) dataset with the help of deep-learned features, creating training datasets for bird classifiers, capturing subjective human taste on a new dataset of 10,000 foods, and qualitatively exploring an unstructured set of pictographic characters. Comparisons with the state-of-the-art in these tasks show that SNaCK produces better concept embeddings that require less human supervision than the leading methods.

研究の動機と目的

• ラベル付きデータが不足している、あるいは概念が主観的で形式的に定義しづらい状況における概念埋め込みの学習という課題に対処すること。
• 専門家のヒントと自動類似度カーネルを組み合わせることで、知覚的埋め込みタスクにおける人間のアノテーション負荷を低減すること。
• 人間のフィードバックと学習済みの視覚表現を統合することで、未ラベルデータのインタラクティブで効率的な探索を可能にすること。
• ラベル誤り検出、食の嗜好モデリング、視覚的組織化といったタスクにおける概念埋め込みの精度と一般化性能を向上させること。
• 機械支援の類似度カーネルが、高品質な埋め込みを達成するために必要な人間による制約の数を顕著に削減できることを示すこと。

提案手法

• SNaCKは二段階のアプローチを採用する：まず機械が生成する類似度カーネル（例：深層特徴や材料リストから）を計算し、次に人間が提供する三つ組制約 'i は j より k よりも近いべき' を用いてそれを精緻化する。
• t-SNE風の多様体学習と確率的三つ組埋め込み目的関数を組み合わせることで、グローバル構造とローカルの人間指定制約の両方を保持する。
• 二種類の類似度カーネルを用いる：一つは深層学習による視覚特徴（例：ImageNetから得られるもの）に基づくもの、もう一つは食の材料といった意味的属性に基づくもの。
• 確率的近傍埋め込み目的関数と三つ組制約違反を組み合わせた損失関数を最小化する微分可能最適化プロセスを採用する。
• GUIを介したインタラクティブな精緻化をサポートし、ユーザーが画像グループを選択し、共通の概念（例：感情）を示すことで、最小限の入力で動的かつ即時の埋め込み更新を可能にする。
• 特定のパrameter設定下では、SNaCKがt-STEと同等であることが証明されており、設計の理論的根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 人間が提供する三つ組制約と機械が生成する類似度カーネルを組み合わせることで、完全に人間または機械主導のアプローチよりも一般化性能が優れた概念埋め込みが得られるか？
• RQ2 機械によるカーネルは、高品質な概念埋め込みを達成するために必要な人間による三つ組アノテーションの数をどの程度削減できるか？
• RQ3 CUB-200のような現実世界のデータセットにおいて、視覚的類似度が常に真のカテゴリ所属を反映しない状況でも、SNaCKはラベル誤りを効果的に検出できるか？
• RQ4 視覚的外観とは関係の薄い概念、例えば食の嗜好や絵文字における感情表現といった主観的な人間の概念を、SNaCKは正確に捉えることができるか？
• RQ5 最小限の専門家入力で、SNaCKはインタラクティブで半教師ありのデータ探索タスクにおいてどの程度の性能を発揮するか？

主な発見

• Kernel 2（深層学習による視覚特徴）を用いたSNaCKは、三つ組一般化誤差28％を達成し、t-STEの33％を下回り、限られた監視下でも優れた一般化性能を示した。
• SNaCKは、概念埋め込みタスクにおいて、最先端の手法と同等またはそれ以上の性能を達成するために、はるかに少ない人間による三つ組制約を必要とした。
• CUB-200データセットにおいて、SNaCKは視覚的類似度を超えた専門家の知識を捉えることで、ピレイテッド・ウッドパイッカーのクラスタに誤って分類されたレッドヘッド・ウッドパイッカーのラベル誤りを効果的に同定した。
• 1万件の料理画像からなる新しいデータセットにおいて、SNaCKは高精度に主観的な味の嗜好を捉え、Food-101で以前の最先端手法を超える深層学習分類器を構築できた。
• 絵文字の分類タスクでは、明示的な三つ組制約がなくても、SNaCKが自動的に感情ごとに絵文字の埋め込みを再編成し、孤立した顔（例：恐ろしい顔）を正しいクラスタに移動させた。
• 本研究では、特定のパrameter設定下で2次元の場合にCKLとt-STEが等価であることを初めて証明した。これは、従来の文献では認識されていなかった重要な関係である。