[論文レビュー] Counting Small Permutation Patterns

Chaim Even‐Zohar, Calvin Leng|arXiv (Cornell University)|Nov 4, 2019

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿では、多変数和木と分割統治戦略を用いて、2-および3-パターン、8つの4-パターン、および23個の独立した4-パターンの線形結合をほぼ線形時間で数えることを可能にする代数的枠組み「コーナーツリー公式」を導入する。主な貢献は、残りの1つの4-パターンの近似的最適な $\frac{1}{2}$-時間アルゴリズムを提供することであり、$\tilde{O}(n^{3/2})$ の計算量を達成し、非パrametric独立性検定の既存手法を改善する。

ABSTRACT

A sample of n generic points in the xy-plane defines a permutation that relates their ranks along the two axes. Every subset of k points similarly defines a pattern, which occurs in that permutation. The number of occurrences of small patterns in a large permutation arises in many areas, including nonparametric statistics. It is therefore desirable to count them more efficiently than the straightforward ~O(n^k) time algorithm. This work proposes new algorithms for counting patterns. We show that all patterns of order 2 and 3, as well as eight patterns of order 4, can be counted in nearly linear time. To that end, we develop an algebraic framework that we call corner tree formulas. Our approach generalizes the existing methods and allows a systematic study of their scope. Using the machinery of corner trees, we find twenty-three independent linear combinations of order-4 patterns, that can be computed in time ~O(n). We also describe an algorithm that counts one of the remaining 4-patterns, and hence all 4-patterns, in time ~O(n^(3/2)). As a practical application, we provide a nearly linear time computation of a statistic by Yanagimoto (1970), Bergsma and Dassios (2010). This statistic yields a natural and strongly consistent variant of Hoeffding's test for independence of X and Y, given a random sample as above. This improves upon the so far most efficient ~O(n^2) algorithm.

研究の動機と目的

• 小規模な置換パターンのカウントに効率的なアルゴリズムを開発すること。これは、非パラメトリック統計学および組合せ論において極めて重要である。
• サイズ $n$ の置換における $k$-パターンのナイーブカウントの $\tilde{O}(n^k)$ のボトルネックを克服すること。
• 体系的に効率的なパターンカウントの範囲を捉える代数的枠組みを用いて、既存手法を一般化すること。
• ランクに基づく統計的検定（例えば、ホイーディングの検定や矢上imotoの独立性検定）の高速化を通じて、パターンカウントの加速を可能にすること。
• パターンカウントの計算的限界を探索し、どの線形結合が効率的なアルゴリズムを許容するかを同定すること。

提案手法

• 著者らは「コーナーツリー公式」と呼ばれる代数的枠組みを導入し、置換内の相対順序の木構造的配置の和としてパターンカウントをモデル化する。
• 2次元和木を用いて、水平ストリップに跨る要素のペアを効率的に維持・照会し、3241 や 3214 といった複雑な4-パターンのカウントを高速化する。
• 置換を $m = \tilde{O}(\tbinom{n}{k})$ 個のストリップに分割し、$a \to 0.5$ の条件下で $\tilde{O}(n^{2-a})$ 時間と $\tilde{O}(n^{1+a})$ 空間のトレードオフを調整することで、計算とメモリのバランスを取る。
• 3241 パターンのカウントには、下向き走査とスパarsな2次元和木上のボックス和クエリを組み合わせ、321 および 34 ペアの有効なマージを $\tilde{O}(n^{3/2})$ 時間で数える。
• パターンの線形結合への一般化は、それらをコーナーツリー上の和として表現することで可能となり、木構造上の動的計画法による効率的評価が可能になる。
• 本手法は Python パッケージ `cornertree.py` に実装されており、2次元範囲クエリを効率的に行うための `ProductTree` クラスを含む。

実験結果

リサーチクエスチョン

• RQ1 コーナーツリーに由来しないパターンカウント、またはそれらの線形結合が $\tilde{O}(n)$ 時間で計算可能かどうか。
• RQ2 置換の完全な4-プロファイルの計算の計算量は何か。
• RQ3 $k$-頂点コーナーツリーが生成するパターン結合の空間の次元は何か。また、その空間はすべての $k$-パターンをカバーするか。
• RQ4 コーナーツリー以外の、効率的なパターンカウントをもたらす木構造的構造は他に存在するか。
• RQ5 一般の $k$ に対して、$k$-プロファイルを $\tilde{O}(n^{d(k)})$ 時間で計算できる最小の $d(k)$ は何か。

主な発見

• 2-および3-パターン、および8つの特定の4-パターンは、コーナーツリー公式を用いて $\tilde{O}(n)$ 時間でカウント可能である。
• 本稿では、23個の独立した4-パターンの線形結合が $\tilde{O}(n)$ 時間で計算可能であると同定し、効率的カウントの範囲を拡張した。
• 3241 パターンを $\tilde{O}(n^{3/2})$ 時間でカウントする新しいアルゴリズムを提案し、これはすべての4-パターンが同じ計算量でカウント可能であることを示唆する。
• ヤナギモトの独立性検定統計量の計算について、従来の $\tilde{O}(n^2)$ から $\tilde{O}(n^{3/2})$ に改善された。
• 著者らは $k \leq 7$ の $k$-頂点コーナーツリーが生成するパターン結合の空間を計算し、その数が $O(11.07^k)$ のように増加することを示した。これは $k!$ に比べて指数的でない。
• 本フレームワークにより、効率的パターンカウントの体系的分析が可能となり、より洗練されたケース分割や代替の木構造の導入によってさらなる改善が可能である可能性を示唆する。