[論文レビュー] A Generalization of Self-Improving Algorithms

Siu-Wing Cheng, Man-Kwun Chiu+2 more|arXiv (Cornell University)|Jan 1, 2020

Computational Geometry and Mesh Generation参考文献 23被引用数 1

ひとこと要約

この論文は、各グループ内の入力が共有された隠れパラメータの関数であるグループ積分布モデルを用いて、自己改善アルゴリズムを入力依存性に対応させる一般化を試みる。多項式時間の訓練フェーズを経た後、滑らかさの弱い仮定の下で、ソートに関しては高確率で最適な O(n + HS) 期待時間、デローランの三角形分割に関してはほぼ最適な O(nα(n) + HDT) を達成する。

ABSTRACT

Ailon et al. [SICOMP'11] proposed self-improving algorithms for sorting and Delaunay triangulation (DT) when the input instances $x_1,\cdots,x_n$ follow some unknown \emph{product distribution}. That is, $x_i$ comes from a fixed unknown distribution $\mathsf{D}_i$, and the $x_i$'s are drawn independently. After spending $O(n^{1+\varepsilon})$ time in a learning phase, the subsequent expected running time is $O((n+ H)/\varepsilon)$, where $H \in \{H_\mathrm{S},H_\mathrm{DT}\}$, and $H_\mathrm{S}$ and $H_\mathrm{DT}$ are the entropies of the distributions of the sorting and DT output, respectively. In this paper, we allow dependence among the $x_i$'s under the \emph{group product distribution}. There is a hidden partition of $[1,n]$ into groups; the $x_i$'s in the $k$-th group are fixed unknown functions of the same hidden variable $u_k$; and the $u_k$'s are drawn from an unknown product distribution. We describe self-improving algorithms for sorting and DT under this model when the functions that map $u_k$ to $x_i$'s are well-behaved. After an $O(\mathrm{poly}(n))$-time training phase, we achieve $O(n + H_\mathrm{S})$ and $O(nα(n) + H_\mathrm{DT})$ expected running times for sorting and DT, respectively, where $α(\cdot)$ is the inverse Ackermann function.

研究の動機と目的

• 入力の独立分布を超えて、入力間に構造的な依存関係を持つモデルへ自己改善アルゴリズムを拡張すること。
• 各グループ内のアイテムが共通の隠れパラメータに依存する入力データの隠れグループ化を学習する課題に対処すること。
• グループレベルの依存関係を活用して、運用フェーズの計算を高速化する訓練フェーズのデータ構造を設計すること。
• 新しいモデル下で、情報理論的下界に近い限界計算量を高確率で達成すること。
• 積分布に関する先行研究を、より現実的かつ表現力のある関数的依存関係を持つ入力モデルに一般化すること。

提案手法

• 入力をグループ積分布としてモデル化：入力はグループに分割され、各グループは共通の隠れパラメータ u_k によって決定され、入力は u_k の固定関数として与えられる。
• u_k から入力アイテムへの関数が有界変動（最大 c0 個の極値）であり、交差が限定的であると仮定することで、構造的規則性を保証する。
• 訓練フェーズを O~(n^3) 時間（ソート用）および O~(n^10) 時間（DT用）に設定し、グループ化の学習とボロノイ図やデローラン三角形分割などの補助構造の事前計算を行う。
• 幾何学的および確率的技術を用いて、部分群からボロノイ図とデローラン三角形分割を効率的に統合し、ジオデ線形分割とフラグメントステッチを活用する。
• エントロピーに基づく解析を適用し、期待実行時間を制限し、それが出力分布のエントロピー（HS または HDT）に依存することを示す。
• 集中不等式と確率的解析を用いて、最終的な実行時間に関する高確率的保証（≥ 1 − n^−189）を確保する。

実験結果

リサーチクエスチョン

• RQ1 自己改善アルゴリズムは、アイテム間に構造的依存関係を持つ入力分布へ拡張可能か？
• RQ2 グループ積分布モデル下で、ソートとデローラン三角形分割の限界計算量は何か？
• RQ3 訓練フェーズで入力データの隠れグループ化をどのように効率的に学習できるか？
• RQ4 訓練フェーズを多項式時間に保ちながら、運用フェーズでほぼ最適な期待実行時間を達成できるか？
• RQ5 効率的な学習と計算を保証するための、入力依存関係の関数的形に関する必要な仮定は何か？

主な発見

• この論文は、グループ積分布モデル下で、ソートに関して高確率で最適な限界計算量 O(n + HS) を達成する。
• デローラン三角形分割に関しては、限界計算量が O(nα(n) + HDT) であり、これはほぼ最適であり、積分布下での最良の既知の境界と一致する。
• 訓練フェーズは、ソートに関して Õ(n³) 時間、DTに関して Õ(n¹⁰) 時間で実行され、両者とも n に対して多項式時間であり、実用的導入が可能である。
• この手法は、下位関数 h_{i,k} の知識を必要とせず、有界変動性と限界的な交差を仮定するのみで、隠れグループ構造を学習可能である。
• 解析により、運用フェーズの期待実行時間が出力分布のエントロピーに支配されることを示し、情報理論的最適性を裏付ける。
• グループ検出、ボロノイ図構築、三角形分割統合といったすべての主要ステップについて、高確率的保証（≥ 1 − n⁻¹⁸⁹）が達成されている。