[論文レビュー] Minimizing FLOPs to Learn Efficient Sparse Representations

Biswajit Paria, Chih‐Kuan Yeh+4 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 81被引用数 7

ひとこと要約

本論文では、スパースな埋め込みのFLOPsを直接正則化することにより、検索時の浮動小数点演算数（FLOPs）を最小化する手法を提案する。この手法は、次元全体にわたる非ゼロ要素の均等な分布を促進することで、密度型埋め込みと比較して最大50倍の高速化を達成しながらも、競争力のある精度を維持する。速度と精度のトレードオフにおいて、ベースラインを上回る性能を発揮する。

ABSTRACT

Deep representation learning has become one of the most widely adopted approaches for visual search, recommendation, and identification. Retrieval of such representations from a large database is however computationally challenging. Approximate methods based on learning compact representations, have been widely explored for this problem, such as locality sensitive hashing, product quantization, and PCA. In this work, in contrast to learning compact representations, we propose to learn high dimensional and sparse representations that have similar representational capacity as dense embeddings while being more efficient due to sparse matrix multiplication operations which can be much faster than dense multiplication. Following the key insight that the number of operations decreases quadratically with the sparsity of embeddings provided the non-zero entries are distributed uniformly across dimensions, we propose a novel approach to learn such distributed sparse embeddings via the use of a carefully constructed regularization function that directly minimizes a continuous relaxation of the number of floating-point operations (FLOPs) incurred during retrieval. Our experiments show that our approach is competitive to the other baselines and yields a similar or better speed-vs-accuracy tradeoff on practical datasets.

研究の動機と目的

• 大規模な近似最近傍探索における高次元密度型埋め込みの計算非効率性を解消すること。
• スパarsityと効率的なスパース行列乗算を活用することで、表現能力を損なわず検索速度を向上させること。
• 次元全体にわたる均等な非ゼロ分布を促進する微分可能な正則化関数を用いて、トレーニング中にFLOPsを直接最小化すること。
• LSH、PCA、PQ、SDHなどの従来手法よりも優れた速度対精度のトレードオフを達成すること。
• スパarsityそのものだけでは不十分であり、非ゼロ要素の均等な分布が最大の高速化に不可欠であることを示すこと。

提案手法

• 検索時のスパース行列乗算における正確なFLOP数の連続的リラクゼーションを提案し、勾配ベース最適化を可能にする。
• 次元間の非ゼロ分布の不均一性をペナルティ化する新規正則化子 $\widetilde{\mathcal{F}}$ を導入する。
• 標準的なメトリクス学習損失（例：対比損失や三重損失）とFLOP正則化子を組み合わせ、意味的類似性を保持する。
• 勾配降下法を用いてメトリクス学習とFLOP最小化を同時に最適化し、均等なスパースパターンを持つ埋め込みを好む。
• 均等性仮定の下で導出された、スパarsityと非ゼロ分布に基づく期待FLOPsの解析的表現を用いる。
• ResNetおよびMobileNetバックボーンを用いてMegaFaceおよびCIFAR-100上で評価し、LSH、PCA、PQ、SDHと比較する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み学習時にFLOPsを直接最小化することで、検索効率を向上させられるか？
• RQ2 スパース埋め込みにおける非ゼロ要素の分布が、スパarsityの水準を越えて検索速度に顕著な影響を与えるか？
• RQ3 FLOPsの連続的リラクゼーションをエンドツーエンド学習における正則化子として効果的に使用できるか？
• RQ4 LSH、PCA、PQ、SDHなどの標準ベースラインと比較して、本手法の速度対精度のトレードオフはどのように異なるか？
• RQ5 次元全体にわたる非ゼロ要素の均等な分布が、検索パフォーマンスの向上にどの程度寄与するか？

主な発見

• 提案された $\widetilde{\mathcal{F}}$ 正則化子は、$\ell_1$ 正則化よりも部分最適性比 $R_{\text{sub}}$ が1に近くなるため、非ゼロ要素の分布がより均等であることを示している。
• ResNetでは、$\ell_1$ 正則化は非ゼロ分布が著しく非最適となる一方、$\widetilde{\mathcal{F}}$ は次元全体にわたるバランスの取れたスパース性を維持する。
• 本手法は、密度型埋め込みと比較して最大50倍の高速化を達成しながら、精度の損失を最小限に抑え、LSH、PCA、PQ、SDHをすべて上回る速度対精度のトレードオフを実現する。
• スパarsityが高くなるほど高速化が顕著に現れ、非ゼロ要素が均等に分布している場合に最大の高速化が達成され、FLOPsの2乗減少が確認された。
• トレードオフ曲線から、$\widetilde{\mathcal{F}}$ 正則化モデルは、特に高スパarsityレベルにおいて、ベースラインと比較してより高い再現率を、より短いクエリ時間で達成している。
• リランキングなしでも本手法は高いパフォーマンスを維持しており、FLOP正則化が内在的な検索効率を向上させていることを確認している。