[論文レビュー] Ranking to Learn and Learning to Rank: On the Role of Ranking in Pattern Recognition Applications

Giorgio Roffo|arXiv (Cornell University)|Jun 1, 2017

Image Retrieval and Classification Techniques参考文献 230被引用数 20

ひとこと要約

本博士論文は、パターン認識における順序付けのための二重フレームワークを提案する：特徴選択のための「順序付けによる学習」と、再識別や推薦応用のための「順序付けのための学習」。特徴選択に行列の累乗級を用いたグラフベースの順序付け手法を導入し、広告やユーザーデンティティの順序付けに深層学習を適用することで、公開済みのツールを伴い、ベンチマークデータセットで最先端の性能を示した。

ABSTRACT

The last decade has seen a revolution in the theory and application of machine learning and pattern recognition. Through these advancements, variable ranking has emerged as an active and growing research area and it is now beginning to be applied to many new problems. The rationale behind this fact is that many pattern recognition problems are by nature ranking problems. The main objective of a ranking algorithm is to sort objects according to some criteria, so that, the most relevant items will appear early in the produced result list. Ranking methods can be analyzed from two different methodological perspectives: ranking to learn and learning to rank. The former aims at studying methods and techniques to sort objects for improving the accuracy of a machine learning model. Enhancing a model performance can be challenging at times. For example, in pattern classification tasks, different data representations can complicate and hide the different explanatory factors of variation behind the data. In particular, hand-crafted features contain many cues that are either redundant or irrelevant, which turn out to reduce the overall accuracy of the classifier. In such a case feature selection is used, that, by producing ranked lists of features, helps to filter out the unwanted information. Moreover, in real-time systems (e.g., visual trackers) ranking approaches are used as optimization procedures which improve the robustness of the system that deals with the high variability of the image streams that change over time. The other way around, learning to rank is necessary in the construction of ranking models for information retrieval, biometric authentication, re-identification, and recommender systems. In this context, the ranking model's purpose is to sort objects according to their degrees of relevance, importance, or preference as defined in the specific application.

研究の動機と目的

• 特徴の重複および不関係な特徴の問題に対処し、順序付けを用いて分類器の精度を向上させること。
• 高いデータ変動性下でも安定したリアルタイム順序付け手法を、視覚的オブジェクトトラッキングに適用すること。
• テキストチャットにおける自動ユーザーディフェンシブ再識別およびパーソナライズド広告推薦のための学習による順序付け技術を発展させること。
• コンピュータビジョンおよびパターン認識分野における順序付け手法の大規模評価を可能にするオープンソースのツールおよびデータセットを提供すること。

提案手法

• 行列の累乗級を用いたグラフベースの順序付けフレームワークを提案し、スペクトル的性質の収束を活用して安定した特徴選択を実現する。
• 計算量の解析を伴う反復的特徴選択手法（mRMR、Relief-F、SVM-RFE）を適用し、効率性を確保する。
• 浅い畳み込みニューラルネットワークを用いて広告順序付けのためのユーザープレファレンスを学習する。
• テキストチャットにおけるユーザーディフェンシブ再識別用に、手作業による特徴工学を置き換える新しい自動特徴学習パイプラインを構築する。
• 生存シナリオにおける現実の意思決定を模擬するコンSENSUSベースのテキストチャットプロトコルを採用し、順序付け性能の評価に用いる。
• FSLibと呼ばれるMATLABベースのツールボックスをリリースし、フィルタ法、ワラッパー法、埋め込み法を含む15種類以上の特徴選択アルゴリズムを提供。計算量の文書化も実施。

実験結果

リサーチクエスチョン

• RQ1 行列の累乗級を用いたグラフベースの順序付けは、高次元データにおける特徴選択の正確性をどのように向上させるか？
• RQ2 動的な画像ストリームの変動性が著しい状況下でも、リアルタイム視覚的オブジェクトトラッキングにおける順序付け戦略が、どのようにして耐性を高めるか？
• RQ3 エンドツーエンドの深層学習モデルは、テキストベースのコミュニケーションにおけるユーザーディフェンシブ再識別における順序付けの分野で、従来手法をどの程度上回るか？
• RQ4 自動特徴学習技術は、バイオメトリクスおよび推薦システムにおける順序付けの文脈で、手作業による特徴の代替としてどの程度有効か？
• RQ5 公開可能なデータセットおよびコードライブラリは、順序付けに基づくパターン認識研究における再現性およびベンチマーク評価を著しく向上させ得るか？

主な発見

• 行列の累乗級を用いたグラフベースの順序付けフレームワークは、スペクトル的性質の収束を活用して関連する特徴を特定することで、優れた特徴選択性能を達成した。
• 提案された特徴選択手法（Inf-FSおよびEC-FS）は、複雑なデータ表現における重複および不関係な情報のフィルタリングにより、分類精度が向上した。
• 視覚的オブジェクトトラッキングの分野において、順序付けに基づく最適化アプローチは、画像シーケンスの高い変動性下でもシステムの耐性を顕著に向上させた。
• 広告推薦のための深層学習ベースのアプローチは、浅いCNNアーキテクチャを用いてユーザープレファレンスを学習することで、最先端の性能を達成した。
• テキストベースのユーザーディフェンシブ再識別用の自動特徴学習パイプラインは、手作業による特徴工学への依存を低減し、リソースが限られた環境下での順序付け精度を向上させた。
• FSLibツールボックス（15種類以上の特徴選択アルゴリズムと計算量の文書化を備える）は、大規模かつ再現可能な評価を可能にし、順序付けに基づくパターン認識分野における今後の研究を促進した。