[論文レビュー] When Deep Learning Meets Polyhedral Theory: A Survey

Joey Huchette, Gonzalo Muñoz+2 more|arXiv (Cornell University)|Apr 29, 2023

Neural Networks and Applications被引用数 13

ひとこと要約

ディープニューラルネットワークとポリヘドラ理論を結ぶ総説。ReLUを用いるフィードフォワードネットワークに焦点を当て、線形最適化ツール（LP/MILP）がこのようなモデルの訓練、検証、圧縮をどのように支援できるか。ピースワイズ線形表現、線形領域、およびポリヘドラ形式を用いてニューラルネットワークを分析・改善することを論じる。

ABSTRACT

In the past decade, deep learning became the prevalent methodology for predictive modeling thanks to the remarkable accuracy of deep neural networks in tasks such as computer vision and natural language processing. Meanwhile, the structure of neural networks converged back to simpler representations based on piecewise constant and piecewise linear functions such as the Rectified Linear Unit (ReLU), which became the most commonly used type of activation function in neural networks. That made certain types of network structure $\unicode{x2014}$such as the typical fully-connected feedforward neural network$\unicode{x2014}$ amenable to analysis through polyhedral theory and to the application of methodologies such as Linear Programming (LP) and Mixed-Integer Linear Programming (MILP) for a variety of purposes. In this paper, we survey the main topics emerging from this fast-paced area of work, which bring a fresh perspective to understanding neural networks in more detail as well as to applying linear optimization techniques to train, verify, and reduce the size of such networks.

研究の動機と目的

• 深層学習に対してポリヘドラ的視点を喚起し、ピースワイズ線形活性化が最適化ベースの分析を可能にする理由を説明する。
• LP、MILP、および離散プログラミングがニューラルネットワークをモデル化・検証・改善する方法を調査する。
• 線形領域の幾何がネットワークの表現力と設計上の選択にどのように影響するかを探る。
• 訓練時の最適化技術とニューラルネットワークへの線形構造の統合について論じる。
• ポリヘドラ解析に関連する変種と拡張（CNN、ResNet、ソフトマックス出力など）を取り上げる。

提案手法

• フィードフォワードReLUネットワークを、領域ごとにアフィine関数になるピースワイズ線形関数として記述する。
• 活性化ユニット集合を層横で用いて線形領域とその署名を定義する。
• 領域内のアフィン変換を y_I(x)=T x + t として導出する。Tとtは活性化集合によって決まる。
• フーリエ-モッツキン消去法が領域記述を入力空間へ射影し、ポリヘドラ領域を生み出す方法を論じる。
• 2値活性化を用いた検証や訓練済みネットワークの最適化のためのMILP定式化を説明する。
• ポリヘドラ幾何を利用した訓練時アプローチと、リフト・アンド・プロジェクションの強化の可能性を総説する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャが決定する場合、ニューラルネットワークはどのようなピースワイズ線形関数を表現できるか？
• RQ2 ネットワークはどれだけの線形領域を作成できるか、深さ・幅はこの数にどう影響するか？
• RQ3 ポリヘドラ形式は頑健な検証、意思決定問題との統合、ネットワーク圧縮を可能にするか？
• RQ4 訓練をポリヘドラ幾何を活用して強化することや、重みへの線形制約を課すことは有効か？
• RQ5 CNN、ResNet、ソフトマックス出力といったネットワークの variants はポリヘドラ的枠組みにどのように適合するか？

主な発見

• rectifier network は入力空間を線形領域に分割し、ネットワークはその領域内でアフィン写像として作用する。
• 線形領域の数は深さ（および幅）とともに指数的に増える可能性があり、表現力が高いことを示す。
• 各線形領域は拡張空間のポリビヨンに対応し、入力空間への射影は消去法で記述可能なポリヘドラ領域を生み出す。
• MILP定式化は訓練済みネットワークを検証や出力の境界設定、あるいはより大規模な最適化問題への埋め込みに用いることができる。
• 離散プログラミングとリフト・アンド・プロジェクションの手法はネットワークのMILP定式化を強化し、より大規模な最適化を可能にする。
• 訓練時のポリヘドラ構造と混合整数アプローチを活用した手法は、重みの制約や正確な表現が望まれる場合に、SGDの代替または補完となり得る。