[論文レビュー] Exploiting Categorical Structure Using Tree-Based Methods

Brian Lucena|arXiv (Cornell University)|Apr 15, 2020

Data Mining Algorithms and Applications参考文献 15被引用数 4

ひとこと要約

本稿では、地理的隣接性や時系列的循環といったカテゴリカル変数に内在する構造を、意味のあるグループ化の「地形」として定義することで、その構造を活用する構造的カテゴリカル決定木（SCDT）を提案する。勾配ブースティングに統合することで、可能な分割のわずか数パーセントの探索のみで、ワンホット符号化や順序符号化をはるかに上回る性能を達成し、全探索を避けることで過学習を防ぎつつ、予測性能が向上することを示している。

ABSTRACT

Standard methods of using categorical variables as predictors either endow them with an ordinal structure or assume they have no structure at all. However, categorical variables often possess structure that is more complicated than a linear ordering can capture. We develop a mathematical framework for representing the structure of categorical variables and show how to generalize decision trees to make use of this structure. This approach is applicable to methods such as Gradient Boosted Trees which use a decision tree as the underlying learner. We show results on weather data to demonstrate the improvement yielded by this approach.

研究の動機と目的

• カテゴリカル変数を無順序または線形順序として扱う従来手法の限界に対処すること。これは、複雑な現実世界の構造を捉えられていない。
• 順序や無順序の仮定を越えて、カテゴリカル変数の構造を表現する数学的枠組みを構築すること。
• 学習中にこの構造を活用できる決定木の変種を設計すること。特に勾配ブースティングフレームワークを想定。
• 実世界のデータにおいて、非自明な変数構造を持つカテゴリカル変数の構造的モデリングが予測精度を向上させることを実証的に検証すること。
• 分割空間全体を全探索するのではなく、小さな部分集合での探索のみで高い性能が達成できることを示すこと。これにより過学習を回避できる。

提案手法

• カテゴリカル変数の水準の部分集合の集合として「地形」を定義し、隣接する州や関連する月など、意味のあるグループ化を表現する。
• 地形を用いて決定木の分割をガイドし、カテゴリカル変数の内在する構造を尊重する分割を保証する。
• 構造的決定木を勾配ブースティングフレームワークに統合し、構造的カテゴリカル特徴を用いたエンドツーエンドの学習を可能にする。
• ノードごとの候補分割数（例：max-splits-to-search）を制限することで、複雑さを制御し、過学習を防ぐ。
• 地形に基づく類似度を用いて、構造的に類似したカテゴリの間で情報を集約し、一般化性能を向上させる。
• 天気データに応用し、米国の州や月といった構造的予測子を用いて、ワンホット符号化や順序符号化と比較して実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 地理的隣接性や円環的な時間といった非順序的構造を持つカテゴリカル変数を、予測性能の向上に寄与する形で効果的にモデル化できるか？
• RQ2 線形順序を越えた複雑なカテゴリカル構造を表現・活用するための数学的枠組みをどのように構築できるか？
• RQ3 決定木における構造的分割を用いることで、勾配ブースティングにおいて従来のワンホット符号化や順序符号化よりも一般化性能が向上するか？
• RQ4 分割空間全体を全探索するのではなく、候補分割の小さな部分集合での探索のみで高い性能を達成できるか？
• RQ5 提案手法は、意味的に類似したクラスを有する画像分類など、他の構造的問題にも一般化可能か？

主な発見

• 構造的カテゴリカル決定木（SCDT）は、構造的カテゴリカル予測子を有する天気予測タスクにおいて、ワンホット符号化および順序符号化をはるかに上回る性能を示した。
• 小さなデータセットでは、SCDTとベースライン手法との性能差が最大となり、データが限られた状況下で構造的集約が顕著な利益をもたらすことを示している。
• SCDTは、全可能な分割のほんのわずかな割合（例：9レベルの郡変数では36通り中5通り）でのみ探索することで、高い性能を達成した。これは、効率性とロバストネスを示している。
• ノードごとの候補分割数を増やすと、小さなデータセットでは性能が悪化した。これは過学習のためと推察され、制限された探索が正則化として機能している可能性を示している。
• 縮小などの高度な正則化技術がなくても、構造的制約による内因的バイアスのおかげで、この手法は依然として有効である。
• 結果から、順序符号化や無順序符号化では捉えきれない、カテゴリカル変数の構造に意味のある信号が存在し、それが木ベースのモデルで効果的に活用可能であることが確認された。