[논문 리뷰] Finding hidden-feature depending laws inside a data set and classifying it using Neural Network

Thilo Moshagen, Nihal Acharya Adde외 1명|arXiv (Cornell University)|2021. 01. 25.

Fault Detection and Control Systems참고 문헌 3인용 수 8

한 줄 요약

이 논문은 다양한 기저 규칙에 따라 제어되는 데이터에서 숨겨진 클러스터를 탐지하고 분류하기 위해 로그코시누스 손실(logcosh loss)을 사용하는 인공 신경망을 제안한다. 특히 다중값 함수나 다중모달 함수에서 효과적이다. 로그코시누스 손실의 이상치에 대한 강건성과 주요 클러스터를 선호하는 특성 덕분에, 평균을 취하는 대신 주요 데이터 분지들을 식별할 수 있으며, 이는 노이즈가 있거나 특징이 제한된 상황에서도 데이터 포인트를 정확하게 별개의 기능적 영역으로 분류할 수 있게 한다.

ABSTRACT

The logcosh loss function for neural networks has been developed to combine the advantage of the absolute error loss function of not overweighting outliers with the advantage of the mean square error of continuous derivative near the mean, which makes the last phase of learning easier. It is clear, and one experiences it soon, that in the case of clustered data, an artificial neural network with logcosh loss learns the bigger cluster rather than the mean of the two. Even more so, the ANN, when used for regression of a set-valued function, will learn a value close to one of the choices, in other words, one branch of the set-valued function, while a mean-square-error NN will learn the value in between. This work suggests a method that uses artificial neural networks with logcosh loss to find the branches of set-valued mappings in parameter-outcome sample sets and classifies the samples according to those branches.

연구 동기 및 목표

• 특징이 부족하거나 은폐된 상태일 때 데이터 내 여러 기저 기능적 관계를 식별하는 데 도전하는 것.
• 이러한 규칙이 명시적으로 알려지지 않거나 관찰되지 않더라도, 데이터 포인트를 서로 다른 규칙에 따라 분리하는 방법을 개발하는 것.
• 로거코시누스 손실의 주요 클러스터 선호 특성을 활용하여, 집합값 매핑이 있는 데이터에서 모델 선택과 분류를 향상시키는 것.
• 숨겨진 또는 잠재적인 특징을 탐지할 수 있는 강건한 데이터 기반 접근법을 제공하여 별개의 데이터 영역을 정의하는 것.

제안 방법

• 이 방법은 입력-출력 데이터 쌍에 대해 로거코시누스 손실 함수로 훈련된 신경망을 사용하여 회귀를 수행하며, 출력 공간 내 가장 큰 클러스터를 근사하는 데 중점을 둔다.
• 로거코시누스 손실은 영역 근처에서 매끄러움(예: MSE와 유사)과 이상치에 대한 감도 감소(예: MAE와 유사)를 동시에 가지므로, 주요 클러스터로의 수렴을 촉진한다.
• 훈련 후 첫 번째 네트워크에서 잔차 오차가 높은 데이터 포인트는 다른 기능적 영역에 속한다고 식별된다.
• 고잔차 하위 집합에 대해 새로운 신경망을 훈련시켜 다음으로 주요 규칙을 학습하고, 이 과정을 모든 주요 클러스터가 포괄될 때까지 반복한다.
• 분류 작업은 각 데이터 포인트를 잔차 오차를 최소화하는 네트워크에 할당하는 방식으로 수행된다.
• 이 접근법은 클러스터 구조에 대한 사전 지식 없이도 단일 데이터셋 내에서 여러 기능 법칙을 탐지함으로써 암묵적인 모델 선택을 수행한다.

실험 결과

연구 질문

• RQ1 로거코시누스 손실을 갖는 신경망이 다중모달 데이터 분포에서 주요 기능 법칙을 효과적으로 식별하고 학습할 수 있는가?
• RQ2 로거코시누스 손실은 집합값 또는 다중값 매핑에서 서로 다른 클러스터를 포착하는 데 있어 평균제곱오차(MSE)와 어떻게 비교되는가?
• RQ3 특징이 부족하거나 은폐된 상황에서 이 방법이 얼마나 잘 데이터 포인트를 별개의 기저 기능적 영역으로 분류할 수 있는가?
• RQ4 매우 큰 노이즈와 겹치는 데이터 포인트가 존재하는 상황에서도 이 방법이 클러스터를 탐지하고 분리할 수 있는가?
• RQ5 잔차 오차에 대한 반복적 재훈련이 데이터셋 내 모든 주요 기능 분지들을 신뢰성 있게 드러내는가?

주요 결과

• 로거코시누스 손실을 사용하는 신경망은 MSE 기반 네트워크와 달리, 두 클러스터로 구성된 데이터 분포에서 평균값이 아닌 더 큰 클러스터를 일관되게 학습한다.
• 1D 및 2D 테스트 케이스에서, 로거코시누스 기반 네트워크는 데이터의 60% 이상을 차지하는 주요 함수(Φ₁ 또는 Φ₂)를 노이즈가 첨가된 상태에서도 정확히 예측하였다.
• 잔차 오차에 대해 반복적으로 훈련하는 방식을 통해 이 방법은 노이즈와 겹치는 클러스터에 대해 강건성을 보이며, 별개의 기능적 영역으로 데이터 포인트를 성공적으로 분류하였다.
• 주요 클러스터가 데이터의 60% 이상을 차지할 경우, 네트워크는 정확도가 높은 수준에서 정확한 함수를 예측하였으며, 이는 다수의 규칙을 탐지할 수 있음을 확인한다.
• MSE 기반 네트워크는 클러스터 간 평균값으로 수렴하여 진정한 기능 분지가 흐려지는 반면, 이 방법은 클러스터 정체성을 더 잘 유지함을 확인하였다.
• 이 방법은 입력 데이터에 명시적으로 제공되지 않은 숨겨진 또는 잠재적 특징을 탐지할 수 있으며, 이는 별개의 데이터 영역을 정의하는 데 기여한다.