[논문 리뷰] Evaluating structure learning algorithms with a balanced scoring function

Anthony C. Constantinou|arXiv (Cornell University)|2019. 05. 29.

Bayesian Modeling and Causal Inference참고 문헌 145인용 수 8

한 줄 요약

이 논문은 기존의 구조 학습 알고리즘 평가에서 편향을 보정하기 위해 기준 그래프에서의 엣지/노엣지 난이도에 따라 보상을 조정하는 새로운 평가 지표인 균형 스코링 함수(Balanced Scoring Function, BSF)를 소개한다. BSF는 베이지안 네트워크 및 원인 그래프 발견 알고리즘 간의 공정한 비교를 가능하게 하여, 기존의 지표가 흔히 선호하는 과도하게 단순하고 과소적합된 구조에 대한 편향을 줄인다.

ABSTRACT

Several structure learning algorithms have been proposed towards discovering causal or Bayesian Network (BN) graphs. The validity of these algorithms tends to be evaluated by assessing the relationship between the learnt and the ground truth graph. However, there is no agreed scoring metric to determine this relationship. Moreover, this paper shows that some of the commonly used metrics tend to be biased in favour of graphs that minimise edges. While graphs that are less complex are desirable, some of the metrics favour underfitted graphs, thereby encouraging limited propagation of evidence. This paper proposes the Balanced Scoring Function (BSF) that eliminates this bias by adjusting the reward function based on the difficulty of discovering an edge, or no edge, proportional to their occurrence rate in the ground truth graph. The BSF score can be used in conjunction with other traditional metrics to provide an alternative and unbiased assessment about the capability of a structure learning algorithm in discovering causal or BN graphs.

연구 동기 및 목표

• 베이지안 네트워크 및 원인 그래프에서의 구조 학습 알고리즘 평가를 위한 표준화되고 편향 없는 스코링 지표의 부재를 해결하기 위해.
• 간선 수가 적은 그래프를 선호하는 기존 평가 지표의 내재된 편향을 식별하고 보정하기 위해.
• 기준 그래프에서 엣지 또는 노엣지를 정확히 식별하는 데의 난이도에 따라 보상을 동적으로 조정하는 스코링 함수를 개발하기 위해.
• 기존 지표의 신뢰성 있는 균형 잡힌 대안을 제공하여, 구조 학습 알고리즘의 진정한 능력을 평가하기 위해.
• 실제 세계의 그래프에서 엣지 발견의 실제 난이도를 반영함으로써 알고리즘 비교의 타당성을 향상시키기 위해.

제안 방법

• 기준 그래프에서 엣지와 노엣지의 빈도에 기반하여 점수를 계산하는 균형 스코링 함수(Balanced Scoring Function, BSF)를 제안한다.
• 기준 그래프에서의 발생 빈도의 역수에 따라 엣지 또는 노엣지를 올바르게 식별한 경우의 보상을 조정함으로써, 희박한 그래프에 대한 편향을 감소시킨다.
• 기존 평가 지표와 BSF를 통합하여, 구조 학습 성능에 대한 보완적이고 편향 없는 평가를 제공한다.
• 기준 그래프에서 엣지와 노엣지의 상대 빈도를 사용하여 각 예측 작업의 난이도를 校정한다.
• 기준 그래프가 알려진 여러 벤치마크 데이터세트에서 구조 학습 알고리즘 간의 비교를 위해 스코링 함수를 적용한다.
• 과소적합을 방지하기 위해 일반적이고 희귀한 엣지 모두의 정확한 복원을 보상하는 균형 잡힌 평가 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 기존의 평가 지표는 어떻게 구조 학습에서 더 단순하고 엣지가 적은 그래프를 체계적으로 선호하는가?
• RQ2 기준 그래프에서 엣지의 빈도는 기존 스코링 지표의 공정성에 어느 정도 영향을 미치는가?
• RQ3 구조 학습 평가에서 희박한 그래프에 대한 편향을 보정할 수 있는 스코링 함수를 설계할 수 있는가?
• RQ4 균형 스코링 함수는 베이지안 네트워크 발견에서 알고리즘 비교의 신뢰성을 어떻게 향상시키는가?
• RQ5 BSF는 알고리즘이 원인 또는 베이지안 네트워크 구조를 복원하는 데 진정으로 갖는 능력을 더 정확하게 반영하는가?

주요 결과

• F1 점수 및 구조 히깅 맨距离와 같은 기존 지표들은 간선 수가 적은 그래프를 선호하는 체계적인 편향을 보이며, 과소적합된 모델을 유리하게 평가한다.
• 균형 스코링 함수는 기준 그래프에서 엣지와 노엣지의 빈도에 따라 보상을 조정함으로써 이러한 편향을 성공적으로 완화한다.
• 이전에는 표준 지표에 의해 페널티를 받았던 더 복잡하고 정확한 그래프를 생성하는 알고리즘들이 BSF에서는 더 높은 점수를 받으며, 이는 그들의 진정한 성능을 반영한다.
• BSF는 기준 그래프의 엣지 분포가 균일하지 않은 경우에도 특히, 구조 학습 알고리즘 간의 더 신뢰할 수 있고 공정한 비교를 가능하게 한다.
• 실험 결과는 BSF가 기존 지표로는 감지되지 않는 성능 차이, 특히 희귀하지만 의미 있는 엣지 복원에서의 성능을 드러낸다.
• 제안된 스코링 함수는 원인 네트워크 및 베이지안 네트워크 발견에서의 구조 학습 알고리즘 능력에 대해 더 균형 잡히고 현실적인 평가를 제공한다.