[論文レビュー] Binary Coding in Stream

Mina Ghashami, Amirali Abdullah|arXiv (Cornell University)|Mar 21, 2015

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 3

ひとこと要約

本稿では、行列スケッチ技術を用いてストリーミングおよびオンライン設定でのバイナリコードワードの学習を可能にする新規手法SSBC（Streaming Spectral Binary Coding）を提案する。複数の実世界および合成データセットにおいて、精度と再現率の両面で最先端の性能を達成しており、近似手法および正確手法を凌駃し、緩いデータ仮定のもとで理論的保証を維持する。

ABSTRACT

Big data is becoming ever more ubiquitous, ranging over massive video repositories, document corpuses, image sets and Internet routing history. Proximity search and clustering are two algorithmic primitives fundamental to data analysis, but suffer from the "curse of dimensionality" on these gigantic datasets. A popular attack for this problem is to convert object representations into short binary codewords, while approximately preserving near neighbor structure. However, there has been limited research on constructing codewords in the "streaming" or "online" settings often applicable to this scale of data, where one may only make a single pass over data too massive to fit in local memory. In this paper, we apply recent advances in matrix sketching techniques to construct binary codewords in both streaming and online setting. Our experimental results compete outperform several of the most popularly used algorithms, and we prove theoretical guarantees on performance in the streaming setting under mild assumptions on the data and randomness of the training set.

研究の動機と目的

• データがメインメモリに収まりきらず、1回のパスのみが許可されるストリーミングまたはオンライン設定において、バイナリコードワードを学習する課題に対処すること。
• ハミング空間におけるデータポイント間の類似性構造を保持しつつ、コードワードの計算を効率的かつ段階的に実行できること。
• データおよびトレーニングセット内のランダムネスに関する緩い仮定のもとで、性能に関する理論的保証を提供すること。
• 大規模データセットにおいて、精度、再現率、および平均平均精度（MAP）の観点から、既存のバイナリコーディング手法を上回ること。

提案手法

• 本手法は、データの類似度行列のコンactかつ低ランク近似をストリーミング形式で維持するために行列スケッチ技術を用いる。
• スケッチされた行列に対してスペクトル分解を適用し、主要な固有ベクトルを抽出し、その後、符号に基づく量子化を用いてバイナリコードワードを生成する。
• 新しいデータが到着するたびに、スケッチおよび固有システムを段階的に更新することで、再計算なしにオンライン学習が可能になる。
• フロベニウスノルムおよびスケッチ行列のスペクトル的性質が、ランダム射影を用いて効率的に維持できることを活用する。
• バイナリコードは、スケッチされた類似度行列の上位-k固有ベクトルから導出され、類似性の保持が保証される。
• 本手法は、メインメモリに収まらない大規模データセットに適した、記憶効率が高くスケーラブルな設計である。

実験結果

リサーチクエスチョン

• RQ1 データを1回のパスで処理し、限られたメモリしか利用できないストリーミング設定において、バイナリコードワードを効果的に学習できるか。
• RQ2 バッチ処理および正確手法と比較して、提案手法はハミング空間における類似性構造（例：近い近傍）をどの程度正確に保持できるか。
• RQ3 緩いデータ仮定のもとで、ストリーミングバイナリコーディング手法の性能に理論的保証を提供できるか。
• RQ4 スペクトルバイナリコーディングパイプラインに行列スケッチを適用することで、既存のストリーミングまたはオンラインバイナリコーディングアルゴリズムと比較して、精度および再現率が向上するか。
• RQ5 大幅に少ないメモリおよび計算リソースを用いても、正確なSVDベースのアプローチをMAPおよび再現率の観点で上回ることができるか。

主な発見

• PAMAP、CBM、Uniform、Covtypeの各データセットにおいて、全テストコードワード長（k=20～k=50）で最高の精度を達成し、常に偽陽性が少ない。
• 全データセットおよびコードワード長において、最高の再現率性能を維持しており、真の近い近傍のカバー率が優れていることが示された。
• 精度-再現率曲線において、SSBCはほぼ45度の直線を形成しており、返された候補が増加しても誤り率が上昇しないことを示しており、そのロバスト性が裏付けられている。
• 正確な手法（exact-Dおよびexact-R）との比較において、SSBCは、わずかなトレーニングセットと全重み行列のスケッチのみを用いているにもかかわらず、より高い平均平均精度（MAP）および再現率を達成した。
• トレーニング中に重み行列の列サンプルを用いることで、過学習を防ぎ、正確な手法よりも優れた性能が得られた。
• 本アルゴリズムは、実世界のデータセット（Covtype、CBM、PAMAP）および合成的な一様分布の両方で、顕著な精度指標の向上を示し、一貫した性能向上を達成した。