[論文レビュー] When are Deep Networks really better than Decision Forests at small sample sizes, and how?

Haoyin Xu, Kaleab A. Kinfu+10 more|arXiv (Cornell University)|Aug 31, 2021

Machine Learning and Data Classification参考文献 51被引用数 12

ひとこと要約

この論文は、小規模なサンプルサイズ（≤10,000）の条件下で深層ニューラルネットワーク（DNNs）が意思決定フォレスト（DFs）を上回る状況を調査し、両者を特徴空間を凸多面体に分割し、活性化されたノードからの投票によって分類する「分割・投票」スキームとして定式化する。DNNsは、表形式、視覚、聴覚データのすべてにおいて、特に限られたデータ環境下で、データの制限に強く、単純なインダクティブバイアスを持つため、DFsが一貫してDNNsを上回ることを明らかにした。一方、DNNsはデータ量が増加するにつれて優れた性能を示す。これは、ハイブリッドモデルがさらなる向上をもたらす可能性を示唆している。

ABSTRACT

Deep networks and decision forests (such as random forests and gradient boosted trees) are the leading machine learning methods for structured and tabular data, respectively. Many papers have empirically compared large numbers of classifiers on one or two different domains (e.g., on 100 different tabular data settings). However, a careful conceptual and empirical comparison of these two strategies using the most contemporary best practices has yet to be performed. Conceptually, we illustrate that both can be profitably viewed as "partition and vote" schemes. Specifically, the representation space that they both learn is a partitioning of feature space into a union of convex polytopes. For inference, each decides on the basis of votes from the activated nodes. This formulation allows for a unified basic understanding of the relationship between these methods. Empirically, we compare these two strategies on hundreds of tabular data settings, as well as several vision and auditory settings. Our focus is on datasets with at most 10,000 samples, which represent a large fraction of scientific and biomedical datasets. In general, we found forests to excel at tabular and structured data (vision and audition) with small sample sizes, whereas deep nets performed better on structured data with larger sample sizes. This suggests that further gains in both scenarios may be realized via further combining aspects of forests and networks. We will continue revising this technical report in the coming months with updated results.

研究の動機と目的

• 限られた訓練データ（≤10,000サンプル）の下で、深層ネットワークが意思決定フォレストを上回る条件を特定すること。これは、医療・科学分野のデータセットで一般的に見られる状況である。
• 両者を「分割・投票」スキームとして統一的に理解すること。具体的には、特徴空間を凸多面体の集合に分割し、活性化された領域からの投票によって分類を行う仕組みとして捉えること。
• 表形式、視覚、聴覚データの3つのモダリティにおいて、サンプルサイズを変化させた実験的ベンチマークを実施し、特に小規模データでの性能に焦点を当てる。
• 両者の優劣が顕著になる条件、特に特徴の位置とデータ量の役割を特定し、今後のハイブリッドモデル設計に貢献すること。
• 両モデルの知見を統合する基盤を提供し、生物学的学習メカニズムに関する機械学習および神経科学分野の研究にインスピレーションを与えること。

提案手法

• 論文は、深層ネットワークと意思決定フォレストの両者を「分割・投票」モデルとして概念化する。両者は入力特徴空間を凸多面体の和集合に分割し、活性化されたノードまたは領域からの投票によって分類を実行する。
• 普遍的収束性に関するストーンの定理を理論的基盤として用い、データ量が増加するにつれて分割が細かくなると、両手法が弱い条件下でも最適分類に収束することを示した。
• 実験的評価は、3つのデータモダリティ（表形式データ（例：バイオメディカルデータ）、視覚（画像）、聴覚（スペクトログラム））を対象とし、1クラスあたり10〜10,000サンプルの範囲で実施した。
• 視覚および音声データでは、生の特徴およびスペクトログラムを用いてモデルを訓練した。音声タスクでは、ResNet-18を入力要件を満たすためにチャネルを複製することで適応した。
• ハイパーパrameterは全モデルで一貫させ、性能評価は保持されたテストセット（全データの10％）における分類精度を用いた。
• ベンチマークは、再現性と公平性を確保するため、標準化されたハードウェア（6コアCPU、1コアGPU）上で実施した。

実験結果

リサーチクエスチョン

• RQ1 小規模なサンプルサイズ下で、深層ネットワークが意思決定フォレストを上回る条件は何か？
• RQ2 両者を「分割・投票」メカニズムとして見た場合、深層ネットワークと意思決定フォレストの内部表現はどのように比較できるか？
• RQ3 なぜ意思決定フォレストは、表形式、視覚、聴覚タスクのすべてにおいて、低データ環境下で一貫して深層ネットワークを上回るのか？
• RQ4 空間的または位置的特徴情報の有無が、両手法間の性能差にどの程度影響を及えるのか？
• RQ5 両モデルが「分割・投票」システムとしての概念的類似性を持つことから、より強固なハイブリッド機械学習アーキテクチャの設計にどのように寄与できるか？

主な発見

• 表形式、視覚、聴覚データのすべてにおいて、サンプルサイズが小さい（≤10,000）場合、意思決定フォレストが深層ネットワークを上回る。特に、1クラスあたり10サンプルの3クラスおよび8クラス音声分類タスクで顕著に顕著である。
• 8クラス音声分類タスクでは、ランダムフォレストが全サンプルサイズで最高の精度を達成した。一方、ResNet-18-Audioは、高すぎる複雑性とデータ不足による過学習のため、最も低い性能を示した。
• 3クラスタスクでは、1層および5層の畳み込みネットワーク（CNN）がランダムフォレストと同等の性能を示したが、より複雑な8クラス設定ではフォレストが依然として優位であった。
• クラス数が増えるほどフォレストとDNN間の性能差が拡大し、サンプルサイズが増加するにつれて縮小する傾向にあり、フォレストが低データ環境下でより頑健であることが示された。
• スペクトログラムおよびMFCCを用いた実験は、生の画像を用いた結果と定性的に類似しており、小規模データ環境下でフォレストが一貫してDNNを上回った。
• 両モデルを「分割・投票」システムとして統一的に理解することで、両者の行動を共通のフレームワークで理解し、統合の可能性を示す基盤が得られた。