[論文レビュー] Unsure When to Stop? Ask Your Semantic Neighbors

Ivo Gonçalves, Sara Silva+2 more|arXiv (Cornell University)|Jun 19, 2017

Evolutionary Algorithms and Applications参考文献 10被引用数 3

ひとこと要約

本稿では、幾何的意味的遺伝的プログラミング（GSGP）および意味的学習マシン（SLM）における最適な終了点を特定するために、解の意味的近傍を活用する意味的停止基準を提案する。この手法により、一般化性能が著しく向上するとともに、計算コストが削減される。本手法は意味的類似度と段階的評価を用い、進化を早期に停止させる。ニューラルネットワークでは3秒未塔、GPツリーでは10秒未塔で競争的な性能が達成される。

ABSTRACT

In iterative supervised learning algorithms it is common to reach a point in the search where no further induction seems to be possible with the available data. If the search is continued beyond this point, the risk of overfitting increases significantly. Following the recent developments in inductive semantic stochastic methods, this paper studies the feasibility of using information gathered from the semantic neighborhood to decide when to stop the search. Two semantic stopping criteria are proposed and experimentally assessed in Geometric Semantic Genetic Programming (GSGP) and in the Semantic Learning Machine (SLM) algorithm (the equivalent algorithm for neural networks). The experiments are performed on real-world high-dimensional regression datasets. The results show that the proposed semantic stopping criteria are able to detect stopping points that result in a competitive generalization for both GSGP and SLM. This approach also yields computationally efficient algorithms as it allows the evolution of neural networks in less than 3 seconds on average, and of GP trees in at most 10 seconds. The usage of the proposed semantic stopping criteria in conjunction with the computation of optimal mutation/learning steps also results in small trees and neural networks.

研究の動機と目的

• 未知のデータに対する性能が低下する前に、反復的教師あり学習における過学習を回避するための最適な停止点を特定すること。
• 幾何的意味的演算子から得られる意味的近傍情報が、効果的かつ効率的な停止意思決定を導けるかどうかを検討すること。
• 幾何的意味的理論に基づく2つのアルゴリズム、GSGPおよびSLMにおける意味的停止基準の実現可能性と性能を評価すること。
• 最適な変異／学習ステップ計算と意味的停止を組み合わせた際の、モデルサイズおよび一般化性能への影響を評価すること。
• 計算効率の高さを実証し、予測性能を損なわず、コンパクトなモデルの高速な進化を可能にすること。

提案手法

• 意味的類似度に基づく停止（意味的類似度ベース停止、SSS）と、意味的改善の割合に基づく停止（意味的改善ベース停止、SIS）の2つの意味的停止基準を提案する。
• これらの基準をGSGPおよびSLMの枠組み内で適用し、幾何的意味的演算子を用いて単峰性の適応度ランドスケープを維持し、グローバル最適解への収束を保証する。
• 各変異または学習ステップで段階的評価を実施し、意味的変化を効率的に追跡し、完全な再評価を回避する。
• 収束速度とモデルのコンパクトネスをさらに向上させるために、最適な変異ステップおよび学習ステップの計算を導入する。
• 解がターゲットにどれほど近いかを定量化するため、意味的空間距離メトリクスを用い、停滞や過学習の早期検出を可能にする。
• 進化中に動的に停止基準を適用し、意味的進歩がしきい値未満に低下した場合、またはターゲットへの類似度が飽和した場合に進化を停止させる。

実験結果

リサーチクエスチョン

• RQ1 GSGPおよびSLMにおいて、意味的近傍情報は、さらなる進化が過学習を引き起こす可能性があるタイミングを信頼性高く示せるか？
• RQ2 提案された意味的停止基準は、標準的な停止ヒューリスティクスと比較して、より優れた一般化性能を達成するか？
• RQ3 意味的停止と最適ステップ計算を統合することで、モデルサイズと訓練時間はどの程度短縮されるか？
• RQ4 特に高次元回帰データセットにおいて、その結果得られるアルゴリズムの計算時間的効率はどの程度か？
• RQ5 本手法は、回帰および分類の両方の教師あり学習問題に一般化可能か？

主な発見

• 提案された意味的停止基準は、現実の高次元回帰データセットにおいて、標準的な停止戦略と同等またはそれ以上の一般化性能を達成する。
• 平均して、SLMを用いたニューラルネットワークの進化は1回あたり3秒未塔で完了し、OS EDVバージョンではLD50データセットで中央値0.3秒を達成する。
• SSHを用いたGPツリーの進化は1回あたり最大10秒で完了し、OS EDVバージョンではBioデータセットで中央値0.9秒を達成する。
• 意味的停止と最適な変異ステップを併用することで、顕著に小型化されたモデルが得られる：GPツリーでは中央値327ノード（OS EDV）であり、非最適化バージョンの10,000を超えるものと比較して顕著に小さい。
• 意味的停止を組み合わせたSLMのFS TIEバージョンは、3つのデータセットのうち2つ（PPBおよびLD50）で最良の一般化性能を達成したが、ネットワークサイズは大きかった。
• SLMのOS EDVバージョンは、最も小型のニューラルネットワークを生成し、データセット全体で中央値4つの隠れニューロンを達成したが、強力な一般化性能を維持した。