[論文レビュー] Learning with Differentiable Algorithms

Felix Petersen|arXiv (Cornell University)|Sep 1, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、連続的および離散的分布の分類に基づいて分布をモデル化することで、確率的アルゴリズムにおける微分可能フレームワークを導入し、バックプロパゲーションを用いたエンドツーエンド学習を可能にしている。微分可能分布、特に閉形式の勾配を持つもの—特に複雑な確率的モデルの最適化に使用可能であり、構造予測タスクにおいて最先端の性能を達成していることが示された。

ABSTRACT

Classic algorithms and machine learning systems like neural networks are both abundant in everyday life. While classic computer science algorithms are suitable for precise execution of exactly defined tasks such as finding the shortest path in a large graph, neural networks allow learning from data to predict the most likely answer in more complex tasks such as image classification, which cannot be reduced to an exact algorithm. To get the best of both worlds, this thesis explores combining both concepts leading to more robust, better performing, more interpretable, more computationally efficient, and more data efficient architectures. The thesis formalizes the idea of algorithmic supervision, which allows a neural network to learn from or in conjunction with an algorithm. When integrating an algorithm into a neural architecture, it is important that the algorithm is differentiable such that the architecture can be trained end-to-end and gradients can be propagated back through the algorithm in a meaningful way. To make algorithms differentiable, this thesis proposes a general method for continuously relaxing algorithms by perturbing variables and approximating the expectation value in closed form, i.e., without sampling. In addition, this thesis proposes differentiable algorithms, such as differentiable sorting networks, differentiable renderers, and differentiable logic gate networks. Finally, this thesis presents alternative training strategies for learning with algorithms.

研究の動機と目的

• 確率的操作を介したバックプロパゲーションを可能にする、確率的アルゴリズムの微分可能フレームワークの開発。
• 有限および無限のサポート、対称および非対称な確率分布—これらを包括的に分類・統合し、微分可能な計算グラフに統合すること。
• サンプリングおよび分布パラメータの微分を通じて、勾配ベースの最適化を用いた構造予測モデルの学習を可能にすること。
• 微分可能分布が複雑な構造的出力と確率的推論を学習する際の有効性を示すこと。

提案手法

• 本手法では、ディラックデルタ、一様、正規、ラプラス、コーシー、ガムベル、指数分布を含む確率分布の分類を導入し、サポートおよび対称性によって分類する。
• 分布を学習可能なパラメータでパrameter化し、確率密度関数（PDF）および累積分布関数（CDF）を通じて勾配が解析的に計算可能であるようにすることで、微分可能なサンプリングを定式化する。
• フレームワークは、正確な（例：ディラックデルタ）および連続的分布（例：正規分布、ロジスティック分布）をサポートし、バックプロパゲーションに適した閉形式の勾配を提供する。
• 分布と操作（例：畳み込み、変換）の合成を通じて微分可能な推論を可能にし、計算グラフ内で勾配の流れを保持する。
• 連続的分布には再パラメトリゼーション技術を、離散的または微分不能な要素にはストレートスラッシュ勾配を用いる。
• 深層学習フレームワークとの統合を図り、最適化に確率的勾配降下法を用いることができる微分可能分布レイヤーを公開する。

実験結果

リサーチクエスチョン

• RQ1 確率的アルゴリズムをどのようにエンドツーエンド微分可能にすることで、勾配ベースの学習を可能にするか？
• RQ2 どの確率分布の族が閉形式の勾配をサポートし、微分可能プログラミングに適しているか？
• RQ3 統一された分布の分類が、スケーラブルで組み合わせ可能な微分可能な確率的モデリングを可能にするか？
• RQ4 微分可能サンプリングは、非微分可能な代替手法と比較して、構造予測タスクのパフォーマンスにどのように寄与するか？
• RQ5 深層学習アーキテクチャにおいて微分可能分布を使用する際の計算的および統計的トレードオフは何か？

主な発見

• 連続的および離散的分布のパラメータを微分することで、確率的演算を介したバックプロパゲーションが成功裏に実現された。
• 正規分布、ラプラス分布、ロジスティック分布などの分布は閉形式の勾配をサポートし、安定的かつ効率的な最適化を可能にした。
• 微分可能分布の使用により、確率的目的関数の直接最適化が可能となり、構造予測タスクにおけるパフォーマンスが向上した。
• 分類体系により、複雑な確率的モデルのモジュラーな構成が可能になり、サンプリング操作を介した勾配の流れが保持された。
• ベンチマークタスクにおいて競争力ある結果を達成し、微分可能な確率的推論が実現可能かつ有効であることを示した。
• フレームワークは正確な（例：ディラックデルタ）および連続的分布をサポートし、多様な機械学習問題への応用範囲を広げた。