[논문 리뷰] Structure Learning with Continuous Optimization: A Sober Look and Beyond

Ignavier Ng, Biwei Huang외 1명|arXiv (Cornell University)|2023. 04. 04.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 방향성 비순환 그래프(DAG) 구조 학습을 위한 연속 최적화 방법을 철저히 검토하며, 이전에 공유된 성능 결정 요인이 분산 순서에 기인한다는 주장에 도전한다. 비균일한 잡음 조건 하에서 비볼록성과 임계값 설정이 주요 과제임을 입증하며, 동일한 잡음 분산을 전제로 한 접근 방식을 넘어서는 강건한 제약 조건과 더 나은 희소성 및 간선 임계값 설정 처리가 필요함을 강조한다.

ABSTRACT

This paper investigates in which cases continuous optimization for directed acyclic graph (DAG) structure learning can and cannot perform well and why this happens, and suggests possible directions to make the search procedure more reliable. Reisach et al. (2021) suggested that the remarkable performance of several continuous structure learning approaches is primarily driven by a high agreement between the order of increasing marginal variances and the topological order, and demonstrated that these approaches do not perform well after data standardization. We analyze this phenomenon for continuous approaches assuming equal and non-equal noise variances, and show that the statement may not hold in either case by providing counterexamples, justifications, and possible alternative explanations. We further demonstrate that nonconvexity may be a main concern especially for the non-equal noise variances formulation, while recent advances in continuous structure learning fail to achieve improvement in this case. Our findings suggest that future works should take into account the non-equal noise variances formulation to handle more general settings and for a more comprehensive empirical evaluation. Lastly, we provide insights into other aspects of the search procedure, including thresholding and sparsity, and show that they play an important role in the final solutions.

연구 동기 및 목표

• 연속적 구조 학습 방법이 성공하거나 실패하는 조건을 조사하며, 특히 분산 순서와 데이터 표준화에 초점을 맞춘다.
• Reisach 등(2021)이 성능이 주로 근사 분산 순서와 위계적 순서 간의 일치에 의해 결정된다고 주장한 바를 도전한다.
• 비균일한 잡음 분산 설정에서의 비볼록성의 역할을 분석하며, 최근의 진전에도 불구하고 여전히 주요 장애물임을 밝힌다.
• 임계값 설정과 희소성 페널티가 최종 구조 복원 품질에 미치는 영향을 평가한다.
• 비균일한 잡음 분산 설정을 사용한 더 포괄적인 평가와 개선된 검색 신뢰성의 필요성을 주장한다.

제안 방법

• 균일한 잡음 분산과 비균일한 잡음 분산 조건 하에서 선형 구조 방정식 모델(SEM)을 분석하여 Reisach 등이 제기한 분산 순서 가설의 타당성을 평가한다.
• 표준화 후 성능 저하가 항상 분산 순서에 기인한다는 주장에 반박하기 위해 반례를 구성한다.
• 15개 노드를 가진 Erdős–Rényi 그래프에서 표본 수와 잡음 구조를 다양하게 설정하여 NOTEARS-EV, GOLEM-EV, GDS를 실증적으로 평가한다.
• 연속 최적화 출력에 임계값 설정을 적용하여 간선 복원 품질을 평가하기 위해 0.1과 0.3의 임계값을 테스트한다.
• NOTEARS-EV와 GOLEM-EV에서 ℓ₁, SCAD, MCP 페널티를 비교하여 편향과 간선 복원 성능을 평가한다.
• 구조 학습 정확도 평가를 위해 주로 SHD(구조적 허밍 거리)를 사용한다.

실험 결과

연구 질문

• RQ1 Reisach 등이 주장한 바와 같이, 데이터 표준화 후 성능 저하가 분산 순서의 손실로 인한 것인가?
• RQ2 균일한 잡음 분산 설정 하에서 근사 분산 순서가 성능을 결정한다는 가설을 반박할 수 있는 반례를 구성할 수 있는가?
• RQ3 최근 DAG 제약 조건과 검색 전략의 진전에도 불구하고, 비균일한 잡음 분산 설정에서 연속적 방법의 성능이 열등한 이유는 무엇인가?
• RQ4 임계값 설정(예: 0.1 vs. 0.3)의 선택이 연속적 구조 학습에서 간선 복원과 거짓 탐지 비율에 미치는 영향은 무엇인가?
• RQ5 다른 희소성 페널티(ℓ₁, SCAD, MCP)는 NOTEARS-EV와 GOLEM-EV와 같은 연속적 구조 학습 방법의 정확도에 어떤 영향을 미치는가?

주요 결과

• 반례 분석을 통해 연속적 구조 학습 방법의 성능이 균일한 잡음 분산 설정에서도 항상 분산 순서에 의해 결정되지 않음을 입증한다.
• 표준화 후 성능 저하는 분산 순서의 손실 때문만은 아니며, 비균일한 잡음 분산 설정에서의 비볼록성은 더 타당한 설명이다.
• 비균일한 잡음 분산 설정에서의 비볼록성은 여전히 주요 과제이며, 최근의 DAG 제약 조건과 검색 전략의 진전에도 불구하고 성능 향상이 이루어지지 않는다.
• 0.1의 임계값 설정은 진짜 간선 가중치가 작은 경우에 특히 간선 제거를 심각하게 유도하므로, 일반적으로 사용되는 임계값 설정이 지나치게 공격적일 수 있음을 시사한다.
• 임계값 설정은 유한 표본 오차와 비볼록성으로 인한 거짓 탐지 수를 줄일 수 있으며, 특히 NOTEARS-EV에서는 유익하지만 민감한 역할을 한다.
• ℓ₁ 페널티는 편향으로 인해 성능이 열 劣하며, SCAD와 MCP 페널티는 더 나은 간선 복원 성능을 보이며, 이는 비볼록 희소성 페널티가 연속적 구조 학습에서 더 효과적임을 시사한다.