[論文レビュー] Large Random Forests: Optimisation for Rapid Evaluation

Frederik Gossen, Bernhard Steffen|arXiv (Cornell University)|Dec 23, 2019

Machine Learning and Data Classification参考文献 20被引用数 4

ひとこと要約

この論文では、大規模なランダムフォレストを、分類の正確性や分散に影響を与えることなく、1つの意味的に同等の代数的意思決定図（ADD）に圧縮する手法を提案している。これにより、分類速度が数個のオーダー単位で向上し、メモリ使用量も最大99.99％まで削減できる。本手法は、ADDベースの集約、多数決の抽象化、非現実的経路の排除を用いて、冗長性を解消するが、予測の正確性や分散は変更しない。

ABSTRACT

Random Forests are one of the most popular classifiers in machine learning. The larger they are, the more precise is the outcome of their predictions. However, this comes at a cost: their running time for classification grows linearly with the number of trees, i.e. the size of the forest. In this paper, we propose a method to aggregate large Random Forests into a single, semantically equivalent decision diagram. Our experiments on various popular datasets show speed-ups of several orders of magnitude, while, at the same time, also significantly reducing the size of the required data structure.

研究の動機と目的

• 大規模ランダムフォレストの分類実行時間が木の数に比例して増加するという問題に対処すること。
• 予測の意味的性質や分散を変更せずに、メモリ使用量を削減し、評価の効率を向上させること。
• 代数的および意味的最適化技術を用いて、全体のフォレストをコンパクトな意思決定図に統合的に集約することの可能性を調査すること。
• 意思決定図ベースの最適化が、従来の手法と比較して、速度とサイズ削減の両面で優れているかどうかを評価すること。

提案手法

• 固定された述語順序に基づく標準化集約を用いて、ランダムフォレストを1つの代数的意思決定図（ADD）に変換する。
• コンパイル時にクラス頻度を事前に評価することで、構造的複雑性を低減するための合成的抽象化を適用する。
• 各経路ごとに多数決の結果を1つの値に統合することで、分類の意味的性質を保持する非合成的抽象化を実行する。
• 矛盾する述語を含む非現実的経路を、ドントケア方式の最小化を用いて排除することで、さらにサイズを縮小し、評価速度を向上させる。
• 連結、加算、縮約といったADD固有の演算を活用して、実行時間とメモリ使用量の両方を最適化する。
• 変数順序ヒューリスティクスを用いて、結果の図のサイズを最小化し、標準的かつ最小の表現を保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模ランダムフォレストを、分類の正確性や分散を保持したまま、1つの意思決定図に圧縮できるか？
• RQ2 標準的なランダムフォレスト評価と比較して、ADDベースの集約は、分類時間とメモリ使用量をどの程度削減できるか？
• RQ3 非現実的経路の排除は、指数的ブロードキャストを防ぎ、実際の性能向上をさらに促進するか？
• RQ4 合成的抽象化と非合成的抽象化は、サイズと速度の向上の観点で、どのように比較できるか？
• RQ5 この手法は、標準的なUCIデータセットにとどまらず、他の分類器やデータタイプに対しても一般化可能か？

主な発見

• 提案手法により、数個のオーダー単位の高速化が達成され、標準的なUCIデータセットでは分類時間が最大1000倍短縮された。
• 一部のケースではメモリ使用量が最大99.99％まで削減され、最終的な意思決定図は元のフォレストよりも著しく小さくなった。
• Balance Scaleデータセットでは、木のノード数が2,158,330個からわずか144個に圧縮され、99.99％の削減が達成された。
• 乳癌データセットでは、ノード数が5,494,682個から3,760個に減少し、99.93％のサイズ削減が達成されたが、正確性の損失は最小限に抑えられた。
• 非現実的経路の排除により、指数的ブロードキャストが防止され、図のサイズがさらに縮小され、一部のケースでは元のフォレストよりも小さな図が得られた。
• この手法は、元のランダムフォレストの分散と予測正確性を完全に保持しており、すべてのテストケースで意味的同等性が確認された。