[論文レビュー] Introduction to Coresets: Accurate Coresets

Ibrahim Jubran, Alaa Maalouf+1 more|arXiv (Cornell University)|Oct 19, 2019

Neural Networks and Applications参考文献 13被引用数 15

ひとこと要約

この論文は、ベクトル和、1-平均、低ランク近似といった基本的問題の正確な解を保持する、小規模で重み付きのデータ部分集合（コアセット）について、包括的でアクセスしやすいガイドを提示する。Carathéodoryの定理と線形代数に基づく単純で、証明可能に正しいアルゴリズムを提示し、構築時間はO(nd²)またはO(nd + d⁴ log n)である。理論と実践の橋渡しを図るためのオープンソースコードを提供し、初心者から専門家まで利用可能である。

ABSTRACT

A coreset (or core-set) of an input set is its small summation, such that solving a problem on the coreset as its input, provably yields the same result as solving the same problem on the original (full) set, for a given family of problems (models, classifiers, loss functions). Over the past decade, coreset construction algorithms have been suggested for many fundamental problems in e.g. machine/deep learning, computer vision, graphics, databases, and theoretical computer science. This introductory paper was written following requests from (usually non-expert, but also colleagues) regarding the many inconsistent coreset definitions, lack of available source code, the required deep theoretical background from different fields, and the dense papers that make it hard for beginners to apply coresets and develop new ones. The paper provides folklore, classic and simple results including step-by-step proofs and figures, for the simplest (accurate) coresets of very basic problems, such as: sum of vectors, minimum enclosing ball, SVD/ PCA and linear regression. Nevertheless, we did not find most of their constructions in the literature. Moreover, we expect that putting them together in a retrospective context would help the reader to grasp modern results that usually extend and generalize these fundamental observations. Experts might appreciate the unified notation and comparison table that links between existing results. Open source code with example scripts are provided for all the presented algorithms, to demonstrate their practical usage, and to support the readers who are more familiar with programming than math.

研究の動機と目的

• 文献における一貫性のないコアセット定義を統一し、明確化すること。
• 基礎的な正確なコアセット構築の、アクセスしやすい段階的証明と実装を提供すること。
• 直感的な説明とオープンソースコードを提供することで、研究者や実務家が入りやすくなるように障壁を低減すること。
• 標準的な文献に存在しないにもかかわらず、ベクトル和や1-平均といったコア問題に対して、単純で正確なコアセットが存在することを示すこと。
• 素朴でフォルクロア的な結果から出発し、現代のコアセット技術を理解するための基盤を築くこと。

提案手法

• R^d 内のn個の点の重み付き集合を、重みの和が同一となるd+1個以下の点の部分集合に、Carathéodoryの定理を用いて縮小する。
• 線形方程式系を解くことで反復的に重みを削減し、和と非負の重みを保ちながらコアセットを縮小する。
• ストリーミング風のクラスタリングと再帰的縮小戦略を採用し、O(nd + d⁴ log n)の時間計算量を達成する。
• 縮小ステップにおける有効な係数を求めるために、最小特異値に対応する右特異ベクトルをSVDで計算する。
• 入力点をO(n/d)個のグループにクラスタリングし、それらの平均を計算し、Carathéodoryを平均に対してのみ適用することで、階層的コアセット構築を実装する。
• 実用的使用法の検証と理論的主張の妥当性を確認できる、例題スクリプトを含む完全なオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 基本的な問題、たとえばベクトル和や1-平均に対して、初等的な線形代数を用いて単純で正確なコアセットを構築できるか？
• RQ2 フォルクロア的であるにもかかわらず、標準的な文献に、ベクトル和や1-平均のための基礎的で正確なコアセット構築が欠落しているのはなぜか？
• RQ3 クラスタリングと再帰的縮小を用いることで、コアセット構築の時間計算量をO(n²d²)からO(nd + d⁴ log n)に低減できるか？
• RQ4 Carathéodoryの定理は、非負の重みをもつ最小で正確なコアセットを構築する際に果たす役割は何か？
• RQ5 理論的なコアセット構築を、コードと直感的な説明を通じて実務的に利用可能にするにはどうすればよいか？

主な発見

• R^d 内の任意のn点の重み付き集合に対して、重みの和を正確に保持するサイズ最大d+1の部分集合をO(nd²)時間で計算可能である。
• 非負の重みをもつ1-平均問題において、サイズ最大d+3のコアセットが存在し、O(min{n²d², nd + d⁴ log n})時間で構築可能である。
• 入力点をクラスタリングし、クラスタ平均に対してのみCarathéodoryを適用することで、最適化されたアルゴリズムにより構築時間をO(nd + d⁴ log n)に低減できる。
• アルゴリズムは、コアセットの重みの合計が1に等しく、重み付き和が元の入力と正確に一致することを保証する。
• 本論文は、ベクトル和や1-平均のためのコアセットが、単に可能であるだけでなく、基本的な線形代数とSVDを用いて効率的に構築可能であることを示している。
• すべてのアルゴリズムはオープンソース実装を伴っており、研究者や実務家による再現性と実用的導入を可能にしている。