[논문 리뷰] Introducing higher order correlations to marginals' subset of multivariate data by means of Archimedean copulas

Krzysztof Domino, Adam Glos|arXiv (Cornell University)|2018. 03. 21.

Image and Signal Denoising Methods참고 문헌 3인용 수 4

한 줄 요약

이 논문은 다변량 정규분포 데이터의 일부 마진 분포에 고차 상관관계를 도입하면서도 원래의 공분산 행렬과 마진 분포를 유지하는 데이터 생성 알고리즘을 제안한다. 이는 아르히메데스 코풀라를 사용하여 구현되며, 차원 축소 알고리즘이 고차 상관관계를 얼마나 잘 활용하는지 평가할 수 있도록 한다. 결과적으로 JSBS 알고리즘(세차 누적량 기반)은 손상된 특징을 성공적으로 탐지하는 반면, MEV(두차 상관관계 기반)는 실패함으로써, 이 방법이 기계학습 알고리즘 평가에 실용적임을 확인한다.

ABSTRACT

In this paper, we present the algorithm that alters the subset of marginals of multivariate standard distributed data into such modelled by an Archimedean copula. Proposed algorithm leaves a correlation matrix almost unchanged, but introduces a higher order correlation into a subset of marginals. Our data transformation algorithm can be used to analyse whether particular machine learning algorithm, especially a dimensionality reduction one, utilises higher order correlations or not. We present an exemplary application on two features selection algorithms, mention that features selection is one of the approaches to dimensionality reduction. To measure higher order correlation, we use multivariate higher order cumulants, hence to utilises higher order correlations be to use the Joint Skewness Band Selection (JSBS) algorithm that uses third-order multivariate cumulant. We show the robust performance of the JSBS in contrary to the poor performance of the Maximum Ellipsoid Volume (MEV) algorithm that does not utilise such higher order correlations. With this result, we confirm the potential application of our data generation algorithm to analyse a performance of various dimensionality reduction algorithms.

연구 동기 및 목표

• 공분산 행렬이나 단변량 마진 분포를 변경하지 않으면서 일부 마진 분포에 고차 상관관계를 도입하는 데이터 변환 방법을 개발하는 것.
• 차원 축소 알고리즘의 고차 통계적 의존성에 대한 민감도를 실증적으로 평가할 수 있도록 하는 것.
• PCA나 특징 선택 방법과 같은 알고리즘이 세차 누적량을 활용하는지 평가하기 위한 통제된 벤치마킹 도구를 제공하는 것.
• 두 가지 다른 특징 선택 알고리즘인 MEV(두차 상관관계 기반)와 JSBS(세차 누적량 기반)를 사용하여 방법의 타당성을 검증하는 것.
• 아르히메데스 코풀라와 누적량 텐서를 사용하여 고차 상관관계를 신뢰성 있게 도입하고 탐지할 수 있음을 보여주는 것.

제안 방법

• 알고리즘은 다변량 정규분포의 일부 마진을 아르히메데스 코풀라 기반 분포로 변환하여 원래의 상관관계 행렬과 마진 분포를 유지한다.
• 아르히메데스 코풀라는 고차 의존성 구조를 유도하기 위해 사용되며, 안정성 테스트를 위해 클레이튼, 굼벨, AMH 등의 특정 가족이 사용된다.
• 고차 상관관계는 특히 비대칭성 기반 탐지에 사용되는 다변량 누적량 텐서, 특히 세차 누적량을 통해 정량화된다.
• 코풀라 기반 변량 생성을 위해 역 라플라스–스틸체스 변환을 적용하여 균일 마진에서 데이터를 생성함으로써 데이터 구조를 유지한다.
• 고성능 과학 계산을 위해 줄리아로 구현되었으며, GitHub에서 공개되어 있다.
• 성능 평가는 손상된 데이터에서 특징 선택 알고리즘의 분류 가능도를 측정함으로써 이루어지며, 평균 분류 가능도 $\bar{D}$ 가 메트릭으로 사용된다.

실험 결과

연구 질문

• RQ1 공분산 행렬이나 마진 분포를 크게 변경하지 않으면서 일부 마진 분포에 고차 상관관계를 도입할 수 있는가?
• RQ2 두차 통계에 의존하는 차원 축소 알고리즘이 데이터의 고차 의존성을 탐지하지 못하는가?
• RQ3 공통 비대칭성 밴드 선택(Joint Skewness Band Selection, JSBS) 알고리즘이 유도된 고차 상관관계를 가진 특징을 성공적으로 식별할 수 있는가?
• RQ4 아르히메데스 코풀라의 선택과 상관관계 행렬의 구조가 고차 상관관계 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 데이터 생성 방법이 노이즈에 대해 강건하며 기계학습 알고리즘의 벤치마킹에 효과적인가?

주요 결과

• JSBS 알고리즘은 모든 코풀라와 상관관계 행렬 유형에서 거의 완벽한 분류 가능도($\bar{D} \approx 1$)를 달성하여 고차 상관관계에 대한 민감도를 확인한다.
• MEV 알고리즘은 대부분의 설정에서 랜덤 추측 수준($\bar{D}_{\text{theor}} \approx 0.08$)에 가까운 성능을 보이며, 고차 의존성을 활용하지 않는다는 것을 시사한다.
• 토플리츠 상관관계 행렬의 경우, JSBS는 $\rho = 0.3$부터 고분류 가능도($\bar{D} > 0.9$)를 달성하며, 클레이튼 코풀라에서는 거의 이상적인 성능을 보인다.
• AMH 코풀라와 $\rho > 0.5$ 조건에서 MEV는 랜덤 이상의 성능을 보였는데, 이는 아마도 AMH 생성자에 대한 역 라플라스–스틸체스 변환 과정에서의 정보 손실 때문일 것이다.
• 상관관계 행렬의 노이즈는 굼벨 및 AMH 코풀라에 대해 JSBS의 성능을 약간 향상시켰지만, MEV에는 거의 영향을 주지 않아 고차 상관관계 탐지 메커니즘이 강건함을 시사한다.
• 알고리즘은 공분산 행렬과 마진 분포를 성공적으로 유지하여 고차 상관관계만이 유일하게 도입된 요소임을 격리한다.