[論文レビュー] Random Hinge Forest for Differentiable Learning

Nathan Lay, Adam P. Harrison+3 more|arXiv (Cornell University)|Feb 12, 2018

Anomaly Detection Techniques and Applications参考文献 13被引用数 8

ひとこと要約

本稿では、確率的勾配降下法を用いた計算グラフ内でのエンドツーエンド学習を可能にする微分可能で、決定木フォレストの変種であるRandom Hinge Forest (RHF)を紹介する。RHFは、最先端のモデル（ニューラル決定木フォレストなど）と同等の性能を達成しながら、大幅に少ないパラメータ数で、対数時間オーダーの勾配計算を実現する。

ABSTRACT

We propose random hinge forests, a simple, efficient, and novel variant of decision forests. Importantly, random hinge forests can be readily incorporated as a general component within arbitrary computation graphs that are optimized end-to-end with stochastic gradient descent or variants thereof. We derive random hinge forest and ferns, focusing on their sparse and efficient nature, their min-max margin property, strategies to initialize them for arbitrary network architectures, and the class of optimizers most suitable for optimizing random hinge forest. The performance and versatility of random hinge forests are demonstrated by experiments incorporating a variety of of small and large UCI machine learning data sets and also ones involving the MNIST, Letter, and USPS image datasets. We compare random hinge forests with random forests and the more recent backpropagating deep neural decision forests.

研究の動機と目的

• 従来のランダムフォレストがエンドツーエンド学習ができないことや、固定された特徴量に依存するという制限を克服すること。
• 任意の計算グラフにスムーズに統合できる微分可能な決定木フォレストを構築し、他の学習可能なコンponentと共同最適化できること。
• 数値安定性、対数時間オーダーの勾配計算複雑性、初期化への感受性の低さを確保することで、既存の微分可能な決定木フォレストを改善すること。
• RHFが、テーブルデータ（UCI）および画像データ（MNIST、USPS、Letter）の両方で、最先端の代替手法と比較して大幅に少ないパラメータ数で競争力のある性能を達成することを示すこと。

提案手法

• RHFは、滑らかな近似を用いることで微分可能となるように、分岐境界として区分的線形のヘッジ関数を用いる。
• フォレスト内の各木は、ランダムで学習可能な特徴量投影を用いて構築され、モデルが有用な特徴量の組み合わせを適応的に学習できるようにする。
• スパースでパスベースのバックプロパゲーションにより、勾配計算の複雑性が木の深さに対して対数時間オーダーに抑えられ、従来手法の指数的コストを回避する。
• 最小-最大マージン性質を採用することで、活性化関数の飽和や精度損失に対する感受性を低減し、学習を安定化させる。
• 畳み込み特徴マップを含む任意のネットワークアーキテクチャに適応できる初期化戦略を提案する。
• 確率的でない出力予測メカニズムにより、ヒストグラムの安定性を必要としないため、小バッチ学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法を用いて、計算グラフ内ですべての層をエンドツーエンドに効率的に学習可能な微分可能な決定木フォレストは実現可能か？
• RQ2 標準ベンチマークデータセット上でのRHFの性能は、ランダムフォレストおよびニューラル決定木フォレストと比べてどうか？
• RQ3 パrameter効率性と学習速度が、RHFのスケーラビリティおよび実用的デプロイメントに与える影響は何か？
• RQ4 特にシグモイドベースの決定木フォレストのような非線形代替手法と比較して、区分的線形の分岐境界を持つにもかかわらず、RHFは一般化性能を十分に発揮できるか？

主な発見

• MNISTおよびUSPSデータセットでは、RHFはニューラル決定木フォレストと同等の性能を達成し、Letterデータセットでは2番目に高い性能を示し、ランダムフォレストを上回った。
• MNISTデータセットでは、RHFはニューラル決定木フォレストと比較して約17倍少ないパラメータ数で、競争力のある精度を維持した。
• RHFは、ヒストグラムの安定性を必要としないため、小バッチサイズ（例：MNISTでは1000）でも効果的に学習可能であるのに対し、ニューラル決定木フォレストは大規模なバッチサイズを必要としていた。
• RHFにおける勾配計算の複雑性は、木の深さに対して対数時間オーダーでスケーリングされ、大規模なフォレスト（例：CPU上で深さ10の木を1000本）でも高速な学習が可能である。
• Madelonデータセットでは、内積特徴量の性能が悪いためRHFが劣化したが、これは、学習可能な特徴量が疎に選択されない場合の限界を示唆している。
• RHFのフェアン（fern）バージョンは、パラメータ数を約半分に抑えながらも、RHFと同等の性能を達成しており、高いパラメータ効率性を示している。