[論文レビュー] Overparameterization: A Connection Between Software 1.0 and Software 2.0

Atkinson, Eric, Yang, Cambridge+1 more|arXiv (Cornell University)|May 4, 2018

Bayesian Modeling and Causal Inference参考文献 23被引用数 6

ひとこと要約

Shuffleは、確率論と統計的依存関係を強制することで、開発者が正しいかつ効率的な確率的推論アルゴリズムを手動で記述できるドメイン特化プログラミング言語である。型安全な分布操作、証明規則による形式的検証、パフォーマンス最適化を伴う自動コード生成を統合することで、Shuffleは、形式的に正しいだけでなく、Ventureなどの既存システムと比較して最大3.1倍高速な推論手順を生成する。

ABSTRACT

A new ecosystem of machine-learning driven applications, titled Software 2.0, has arisen that integrates neural networks into a variety of computational tasks. Such applications include image recognition, natural language processing, and other traditional machine learning tasks. However, these techniques have also grown to include other structured domains, such as program analysis and program optimization for which novel, domain-specific insights mate with model design. In this paper, we connect the world of Software 2.0 with that of traditional software - Software 1.0 - through overparameterization: a program may provide more computational capacity and precision than is necessary for the task at hand. In Software 2.0, overparamterization - when a machine learning model has more parameters than datapoints in the dataset - arises as a contemporary understanding of the ability for modern, gradient-based learning methods to learn models over complex datasets with high-accuracy. Specifically, the more parameters a model has, the better it learns. In Software 1.0, the results of the approximate computing community show that traditional software is also overparameterized in that software often simply computes results that are more precise than is required by the user. Approximate computing exploits this overparameterization to improve performance by eliminating unnecessary, excess computation. For example, one - of many techniques - is to reduce the precision of arithmetic in the application. In this paper, we argue that the gap between available precision and that that is required for either Software 1.0 or Software 2.0 is a fundamental aspect of software design that illustrates the balance between software designed for general-purposes and domain-adapted solutions. A general-purpose solution is easier to develop and maintain versus a domain-adapted solution. However, that ease comes at the expense of performance. We show that the approximate computing community and the machine learning community have developed overlapping techniques to improve performance by reducing overparameterization. We also show that because of these shared techniques, questions, concerns, and answers on how to construct software can translate from one software variant to the other.

研究の動機と目的

• 手動で記述された確率的推論アルゴリズムに形式的な正しさ保証が欠けている問題に対処すること。
• 確率論と統計的依存関係を強制するプログラミングモデルを提供すること。
• 高レベルの確率的抽象化から最適化された、高性能な推論コードを生成すること。
• 検証可能で合成可能な抽象化を通じて、手動での推論実装（Software 1.0）と自動合成（Software 2.0）の溝を埋めること。

提案手法

• 条件付き依存関係と分布を追跡する型システムを導入し、確率の公理に従うことを保証する。
• 分布操作と条件付き独立性の検証に役立つ証明規則を通じて、正しさを強制する。
• 一等級の分布プリミティブと、周辺化や条件付き密度計算のような合成可能な操作をサポートする。
• 最適化された低レベル実装を生成するために、静的解析とコード変換を実行する。
• パフォーマンス向上のため、インクリメンタル更新とループ最適化をサポートする。
• 高レベルの推論手順を、最小限のオーバーヘッドでシングルスレッドの効率的なC++コードにコンパイルする。

実験結果

リサーチクエスチョン

• RQ1 形式的な型と証明規則を用いて、手動で記述された確率的推論アルゴリズムの正しさをプログラミング言語が強制できるか。
• RQ2 正しさを損なわずに、高レベルの確率的抽象化を効率的な低レベルコードにコンパイルする方法は何か。
• RQ3 検証可能で合成可能な抽象化は、既存のシステムと比較して、どれほどパフォーマンスと正しさの面で優れているか。
• RQ4 モデル仕様と推論実装の分離を形式的に定式化することで、正しさと最適化の両方をサポートできるか。

主な発見

• Shuffleが生成する推論手順は、Ventureの実装と比較して最大3.1倍高速であり、高レベルの抽象化によるパフォーマンス低下は見られない。
• Shuffleにおけるインクリメンタル最適化は、最適化されていないバージョンと比較して最低でも30倍の高速化を達成しており、コード生成戦略の重要性を示している。
• システムは、ガウス・ミクスチャ・モデル（GMM）、ラティント・ディリクレ・アロケーション（LDA）、ダイナミック・ベイジアン・ネットワーク（DMM）といった標準的なモデルの推論アルゴリズムを正しく実装・検証した。
• Shuffleの型システムは、条件付き独立性や分布の合成の誤用を防止し、生成されたすべてのコードが確率論に従うことを保証する。
• 検証可能で合成可能なプリミティブを通じて、コラプセッド・ギブス・サンプリングとライクレッジ・ワイトニングをサポートし、効率的な推論を可能にする。
• パフォーマンス評価では、Shuffleの抽象化に顕著なオーバーヘッドが認められず、正しさと効率性が相反するものではないことを確認した。