[論文レビュー] Finding hidden-feature depending laws inside a data set and classifying it using Neural Network

Thilo Moshagen, Nihal Acharya Adde+1 more|arXiv (Cornell University)|Jan 25, 2021

Fault Detection and Control Systems参考文献 3被引用数 8

ひとこと要約

本稿では、異なる背後にある規則に従って制御されるデータにおける隠れたクラスタを検出および分類する手法を提案する。特に集合値関数や多峰値関数の文脈で有効である。ロジカosh損失関数の外れ値に対する頑健性と主要クラスタへの傾倒性を活用することで、平均化を避けて主要なデータの枝（ブランチ）を特定する。これにより、ノイズや特徴量の不足がある状況下でも、明確に分離された関数的領域にデータポイントを正確に分類できる。

ABSTRACT

The logcosh loss function for neural networks has been developed to combine the advantage of the absolute error loss function of not overweighting outliers with the advantage of the mean square error of continuous derivative near the mean, which makes the last phase of learning easier. It is clear, and one experiences it soon, that in the case of clustered data, an artificial neural network with logcosh loss learns the bigger cluster rather than the mean of the two. Even more so, the ANN, when used for regression of a set-valued function, will learn a value close to one of the choices, in other words, one branch of the set-valued function, while a mean-square-error NN will learn the value in between. This work suggests a method that uses artificial neural networks with logcosh loss to find the branches of set-valued mappings in parameter-outcome sample sets and classifies the samples according to those branches.

研究の動機と目的

• 特徴量が不十分または隠されている場合に、データ内に複数の背後的な関数的関係が存在することを特定する課題に対処すること。
• これらの規則が明示的または観測可能でない状況下でも、異なるルールに従って制御される明確なクラスタにデータポイントを分類する手法を開発すること。
• ロジカosh損失が主要クラスタに傾く性質を活用することで、集合値写像を含むデータにおけるモデル選択と分類を改善すること。
• 隠れたまたは潜在的な特徴量が明確に提供されていない状況下でも、それらが定義する明確なデータ領域を検出する、頑健でデータ駆動型のアプローチを提供すること。

提案手法

• 本手法は、入力-出力データペアに対して回帰を実行するニューラルネットワークを、ロジカosh損失関数で訓練することで、出力空間における最大クラスタの近似を優遇する。
• ロジカosh損失は、ゼロ付近での滑らかさ（MSEに類似）と外れ値への感受性の低さ（MAEに類似）を併せ持つため、主要クラスタへの収束を促進する。
• 訓練後、最初のネットワークからの残差誤差が大きいデータポイントは、別の関数的領域に属すると特定される。
• 高誤差サブセットに対して新たなニューラルネットワークを訓練し、次に主要なルールを学習する。このプロセスを繰り返し、すべての顕著なクラスタが捉えられるまで続ける。
• 分類は、各データポイントを残差誤差を最小にするネットワークに割り当てる。
• 本手法は、クラスタ構造の事前知識がなくても、単一のデータセット内で複数の関数的法則を検出することで、モデル選択を内蔵的に実行する。

実験結果

リサーチクエスチョン

• RQ1 ロジカosh損失を用いたニューラルネットワークは、多峰値データ分布において、効果的に主要な関数的ルールを特定・学習できるか？
• RQ2 集合値関数や多値関数の写像において、ロジカosh損失関数は平均二乗誤差（MSE）と比較して、どのようにして明確なクラスタを捉えているか？
• RQ3 特徴量が不十分または隠されている状況下で、この手法がどの程度の精度でデータポイントを異なる背後関数的領域に分類できるか？
• RQ4 重大なノイズや重複するデータポイントが存在する状況下でも、この手法はクラスタを検出し分離できるか？
• RQ5 残差誤差に基づく繰り返し訓練が、データセット内のすべての主要関数的ブランチを信頼性高く特定できるか？

主な発見

• MSEベースのネットワークとは異なり、ロジカosh損失を用いたニューラルネットワークは、2クラスタのデータ分布において、常に大きなクラスタを学習し、クラスタ間の中間値に収束しない。
• 1次元および2次元のテストケースにおいて、ロジカoshベースのネットワークは、データの60％以上を占める主要関数（Φ₁ または Φ₂）を、ノイズを加えた状態でも正確に予測した。
• 残差誤差に基づく繰り返し訓練を経て、本手法はノイズや重複クラスタに対して頑健であることを示し、明確に分離された関数的領域にデータポイントを分類できた。
• 主要クラスタがデータの60％を超える場合、ネットワークは正しい関数を高い精度で予測した。これにより、多数派の法則を検出できる能力が裏付けられた。
• MSEベースのネットワークとは異なり、本手法はクラスタの識別を保持する能力に優れており、MSEネットワークはクラスタ間の中間値に収束し、真の関数的ブランチを隠蔽してしまう。
• 本手法は、入力データに明示的に存在しないにもかかわらず、それらが定義する明確なデータ領域を検出する潜在的特徴量を同定できる。