[논문 리뷰] A Supervised Learning Approach to Rankability

Nathan McJames, David M. Malone외 1명|arXiv (Cornell University)|2022. 03. 14.

Sports Analytics and Performance인용 수 5

한 줄 요약

이 논문은 완전 지배 그래프의 변형을 통해 목표 순위 가능성이 알려진 합성 그래프를 생성함으로써, 의미 있는 순위 매기기에 적합한 데이터셋의 순위 가능성을 평가하기 위한 지도 학습 프레임워크를 제안한다. 이는 합성 데이터와 실제 스포츠 데이터에 대해 랜덤 포레스트 회귀 모델이 순위 가능성을 정확하게 예측할 수 있음을 보여주며, 기존의 순위 가능성 측정 방법과 강한 일치를 보이며 전통적 방법에 비해 더 유연하고 확장 가능한 대안을 제공한다.

ABSTRACT

The rankability of data is a recently proposed problem that considers the ability of a dataset, represented as a graph, to produce a meaningful ranking of the items it contains. To study this concept, a number of rankability measures have recently been proposed, based on comparisons to a complete dominance graph via combinatorial and linear algebraic methods. In this paper, we review these measures and highlight some questions to which they give rise before going on to propose new methods to assess rankability, which are amenable to efficient estimation. Finally, we compare these measures by applying them to both synthetic and real-life sports data.

연구 동기 및 목표

• 지향 그래프로 표현된 데이터셋의 순위 가능성을 평가하고 예측하기 위한 유연하고 확장 가능한 프레임워크를 개발하기 위해.
• 기존의 순위 가능성 측정 방법의 한계, 특히 희박하거나 지배성이 없는 그래프 구조에서의 열악한 성능을 해결하기 위해.
• 목표 순위 가능성이 알려진 훈련 데이터를 생성함으로써 기계 학습을 통한 순위 가능성 예측을 가능하게 하기 위해.
• 제안된 방법의 성능을 합성 그래프와 실제 스포츠 데이터 세트 모두에서 검증하기 위해.
• 다양한 그래프 유형과 크기, 특히 희박한 데이터에 대해 이 접근법의 일반화 능력을 탐색하기 위해.

제안 방법

• 완전 지배 그래프의 변형을 통해 목표 순위 가능성이 사전 정의된 합성 그래프를 생성하여 통제된 훈련 데이터 세트를 만든다.
• 그래프 성질(예: 삼각형 수, 간선 밀도, 스펙트럼 특성 등)을 기계 학습 모델의 입력 특성으로 추출한다.
• 이러한 특성 기반으로 순위 가능성을 예측하기 위해 합성 데이터에 대해 랜덤 포레스트 회귀 모델을 훈련시는 것이다.
• 일반화 능력을 평가하기 위해 다른 모델로 생성된 외부 합성 그래프에 대해 훈련된 모델을 테스트한다.
• 실제 스포츠 데이터 세트(예: 럭비 및 축구 경기 결과)에 모델을 적용하여 실제 성능을 평가한다.
• 제안된 모델의 예측 결과를 [1]과 [2]에서 제시한 기존의 순위 가능성 측정 방법과 비교하여 일관성 여부를 검증한다.

실험 결과

연구 질문

• RQ1 목표 순위 가능성이 알려진 합성 데이터에 훈련된 지도 학습 접근법이 지향 그래프의 순위 가능성을 정확하게 예측할 수 있는가?
• RQ2 훈련된 모델이 외부 합성 그래프와 실제 스포츠 데이터에 대해 얼마나 잘 일반화되는가?
• RQ3 지속적인 간선 편집 및 스펙트럼 변동 기반의 기존 순위 가능성 측정 방법과 비교할 때, 지도 학습 모델의 예측 결과는 어느 정도 상관관계를 보이는가?
• RQ4 특히 희박한 그래프에서 모델의 성능은 어떻게 변화하는가?
• RQ5 기계 학습 프레임워크 내에서 순위 가능성을 효과적으로 예측하는 데 기여하는 그래프 성질은 무엇인가?

주요 결과

• 랜덤 포레스트 회귀 모델은 외부 합성 데이터에 대해 뛰어난 성능을 보이며, 훈련 분포로부터 효과적인 일반화가 이루어졌음을 시사한다.
• 희박한 그래프 구성도 포함하도록 그래프 생성 과정을 수정함으로써, 희박한 데이터에 대한 모델의 강건성이 입증되었다.
• 실제 스포츠 데이터 세트에서 지도 학습 모델의 예측 결과와 기존의 순위 가능성 측정 방법 간에 강한 정적 상관관계가 관찰되었다.
• 목표 순위 가능성이 알려진 그래프를 생성함으로써, 존재하는 순위 가능성 측정 방법의 평가를 성공적으로 수행할 수 있었다.
• 이 접근법은 매우 다용도적이며 확장 가능했으며, 다양한 그래프 생성 모델과 회귀 알고리즘을 지원할 수 있었다.
• 훈련 데이터에 포함되지 않은 드문 또는 구조적으로 다름없는 그래프(예: 순환 그래프)에서는 성능이 떨어지는 제한점이 존재한다.