[논문 리뷰] Towards fully covariant machine learning

Soledad Villar, David W. Hogg외 3명|arXiv (Cornell University)|2023. 01. 31.

Computational Physics and Python Applications인용 수 9

한 줄 요약

본 논문은 수동적(공변성) 대칭과 활성 대칭을 도입하고, ML 모델은 데이터 표현에서 발생하는 수동적 대칭을 존중해야 한다고 주장하며, 일반화, 인과관계, 모델 설계에 대한 함의를 논의한다.

ABSTRACT

Any representation of data involves arbitrary investigator choices. Because those choices are external to the data-generating process, each choice leads to an exact symmetry, corresponding to the group of transformations that takes one possible representation to another. These are the passive symmetries; they include coordinate freedom, gauge symmetry, and units covariance, all of which have led to important results in physics. In machine learning, the most visible passive symmetry is the relabeling or permutation symmetry of graphs. Our goal is to understand the implications for machine learning of the many passive symmetries in play. We discuss dos and don'ts for machine learning practice if passive symmetries are to be respected. We discuss links to causal modeling, and argue that the implementation of passive symmetries is particularly valuable when the goal of the learning problem is to generalize out of sample. This paper is conceptual: It translates among the languages of physics, mathematics, and machine-learning. We believe that consideration and implementation of passive symmetries might help machine learning in the same ways that it transformed physics in the twentieth century.

연구 동기 및 목표

• ML 및 물리학 맥락에서 수동적 및 활성 대칭을 정의한다.
• 데이터 표현 선택(좌표, 단위 등)에서 수동적 대칭이 어떻게 존재하게 되는지 설명한다.
• 수동적 대칭을 강제하는 것이 학습 및 일반화 향상에 어떻게 기여하는지에 대한 개념적 지침과 예시를 제공한다.
• 수동 대칭과 인과 모델링 간의 연계를 논의한다.
• 수동적 대칭을 존중하도록 ML 모델의 구조를 설계하는 실제 지침을 제시한다.

제안 방법

• 그룹 작용과 가환 도식(commutative diagrams)을 사용한 수동적 대칭과 활성 대칭의 형식적 정의.
• 차원 분석 주장을 바탕으로 단위 공변성이 보편적 수동 대칭임을 논의한다.
• 회귀에서 수동 대칭을 강제하는 이점을 보여주는 토이 예시들.
• 수동 대칭과 인과성 사이의 개념적 연결 고리 및 모델 설계와 정규화에의 함의를 다룬다.
• 물리학과 ML 용어를 서로 이해하기 쉽게 번역하는 용어집(Glossary).

실험 결과

연구 질문

• RQ1 수동 대칭과 활성 대칭은 무엇이며, 이것들이 ML 표현 및 데이터 분석과 어떻게 관련되는가?
• RQ2 수동 대칭(공변성)을 강제하는 것이 학습 결과 및 샘플 외 일반화에 어떻게 영향을 미칠 수 있는가?
• RQ3 ML 모델에서 수동 대칭을 구현하는 데 어떤 실제적 도전이 있으며, 활성 대칭에서 수동 대칭으로 전환될 수 있는 경우는 언제인가?
• RQ4 수동 대칭이 인과 모델링 및 개입 개념과 어떻게 연결되는가?
• RQ5 수동 대칭을 존중하도록 데이터 표준화와 모델 아키텍처에 대해 어떤 지침을 제시할 수 있는가?

주요 결과

• 수동 대칭은 표현 선택(좌표, 단위, 게이지, 재매개변수화)에서 비롯되며 정의상으로 정확하다.
• 수동 대칭을 강제하는 것이 문제의 기본적 스케일링 법칙과 누락된 요소를 드러낼 수 있다.
• 단위 공변성은 샘플 외 일반화를 향상시키고 차원적 상수의 발견을 유도할 수 있다(예: 흑체 복사 토이 예시의 Planck 상수).
• 많은 ML 관행이 수동 대칭을 존중하지 못하며, 이는 체계적 실수를 초래할 수 있다; 이를 존중하면 규제화, 아키텍처, 정규화에서의 변화를 시사한다.
• 수동 대칭과 인과 추론 사이에는 의미 있는 연결이 있으며, 여기에는 인과 그래프의 일관성 제약 및 필요한 입력을 식별하는 개입의 역할이 포함된다.