[論文レビュー] On Radial Isotropic Position: Theory and Algorithms

Shiri Artstein-Avidan, Haim Kaplan+1 more|arXiv (Cornell University)|May 11, 2020

Computational Geometry and Mesh Generation参考文献 22被引用数 8

ひとこと要約

本稿では、非特異的線形変換と単位球面上へのスケーリングを用いて、R^d 内の有限点集合のための径数的等方的配置を計算する、勾配降下に基づく新規なアルゴリズムを提案する。強い凸性を用いた収束速度の O(1/ε) と改良された対数的境界を確立し、新たな退化パラメータを導入することで収束速度と安定性の理論的保証を提供する。

ABSTRACT

We review the theory of, and develop algorithms for transforming a finite point set in ${\bf R}^d$ into a set in \emph{radial isotropic position} by a nonsingular linear transformation followed by rescaling each image point to the unit sphere. This problem arises in a wide spectrum of applications in computer science and mathematics. Our algorithms use gradient descent methods for a particular convex function $f$ whose minimum defines the transformation, and our main focus is on analyzing their performance. Although the minimum can be computed exactly, by expensive symbolic algebra techniques, gradient descent only approximates the desired minimum to any desired level of accuracy. We show that computing the gradient of $f$ amounts to computing the Singular Value Decomposition (SVD) of a certain matrix associated with the input set, making it simple to implement. We believe it to be superior to other approximate techniques (mainly the ellipsoid algorithm) used previously to find this transformation, and it should run much faster in practice. We prove that $f$ is smooth, which yields convergence rate proportional to $1/ε$, where $ε$ is the desired approximation accuracy. To complete the analysis, we provide upper bounds on the norm of the optimal solution which depend on new parameters measuring "the degeneracy" in our input. We believe that our parameters capture degeneracy better than other, seemingly weaker, parameters used in previous works. We next analyze the strong convexity of $f$, and present two worst-case lower bounds on the smallest eigenvalue of its Hessian. This gives another worst-case bound on the convergence rate of another variant of gradient decent that depends only logarithmically on $1/ε$.

研究の動機と目的

• 高次元幾何学および理論的計算機科学において重要な役割を果たす、点集合を径数的等方的配置に変換するための効率的アルゴリズムの開発。
• 通信複雑性、ロバストな部分空間回復、超平面配置における点の位置特定などの応用で不可欠な、このような変換を求める計算上の課題の解決。
• 記号的または楕円体に基づく手法の実用的で理論的に収束保証のある代替手法として、凸なポテンシャル関数に対する勾配降下に焦点を当てる。
• 入力構造をよりよく捉え、摂動に対して安定である新たな退化パラメータの導入により、理論的頑健性の向上。
• ヘッセ行列の最小固有値の分析と目的関数の滑らかさを用いて、収束速度のタイトな境界を確立する。

提案手法

• 径数的等方的配置問題を、最小値が所望の線形変換を定義する凸関数 f の最小化問題として定式化する。
• 入力点集合から導かれる行列の特異値分解（SVD）を用いて f の勾配を計算し、効率的な実装を可能にする。
• 適応的ステップサイズを用いた勾配降下を適用し、目的の精度 ε に対して O(1/ε) の収束速度を達成する。
• f の滑らかさを確立することで収束を保証し、新たな退化パラメータを用いて最適解のノルムの境界を導出する。
• ヘッセ行列の最小固有値に対する下界を導出し、強い凸性を分析することで、最悪ケースにおいて対数的 O(log(1/ε)) の収束速度を導く。
• 組合せ論的および行列解析を用いて、一般位置の状況におけるヘッセ行列の境界を定める。対称的構造とトレース恒等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下を、理論的収束保証を伴って径数的等方的配置を計算するために効果的に適用できるか。
• RQ2 勾配降下の収束速度は入力の退化度にどのように依存するか。これは安定なパラメータを用いて定量化可能か。
• RQ3 この設定におけるヘッセ行列の最小固有値と勾配降下の収束速度の関係は何か。
• RQ4 提案された退化パラメータは、従来の測定基準と比較して、安定性および適用可能性の面で優れているか。
• RQ5 一般位置において、目的関数のヘッセ行列は下から有界であるか。これは収束にどのような意味を持つか。

主な発見

• 目的関数 f は滑らかであるため、適切なステップサイズを用いることで、勾配降下は O(1/ε) の速度で収束する。
• f の勾配は、入力点集合から導かれる行列の SVD を用いて効率的に計算可能であり、アルゴリズムの実用性を高める。
• 摂動に対して安定で、従来の測定基準よりもタイトな境界を与える新たな退化パラメータ Δ_S^min が導入された。
• 一般位置の点集合に対して、ヘッセ行列の最小固有値は (Δ_S^min)^2 * d(n−d)/(n(n−1)) * e^(-4d|t|_∞) で下から有界であり、これにより対数的収束速度 O(log(1/ε)) が得られる。
• ヘッセ行列はすべての1のベクトルに直交する部分空間上で下から有界であり、関連する方向における強い凸性を保証する。
• 理論的解析により、アルゴリズムが入力幾何の明示的依存性を伴って、精度 ε で所望の径数的等方的変換を O(1/ε) 回の反復で達成することが確認された。