[논문 리뷰] Comment on "Why does deep and cheap learning work so well?" [arXiv:1608.08225]

David J. Schwab, Pankaj Mehta|arXiv (Cornell University)|2016. 09. 12.

Innovative Teaching and Learning Methods인용 수 10

한 줄 요약

이 논문은 린과 테그마크(2016)가 변분 보존군(Variational Renormalization Group, RG)과 딥 베리패스 네트워크 간의 사상이 무효하다고 주장한 바를 반박한다. 그들이 제시한 '반례'는 자유 에너지를 유지하지만, 원래의 변분 RG 프레임워크에서 핵심적인 조건인 트레이스 조건을 위반한다. 이는 사상의 무효성을 입증하지 못한다. 저자들은 자유 에너지 유지만으로는 정확한 물리적 예측이 불가능하며, 원래의 사상은 올바른 트레이스 조건 하에서는 그대로 유효하다고 명확히 한다.

ABSTRACT

In a recent paper, "Why does deep and cheap learning work so well?", Lin and Tegmark claim to show that the mapping between deep belief networks and the variational renormalization group derived in [arXiv:1410.3831] is invalid, and present a "counterexample" that claims to show that this mapping does not hold. In this comment, we show that these claims are incorrect and stem from a misunderstanding of the variational RG procedure proposed by Kadanoff. We also explain why the "counterexample" of Lin and Tegmark is compatible with the mapping proposed in [arXiv:1410.3831].

연구 동기 및 목표

• 변분 RG와 딥 베리패스 네트워크 간의 사상 유효성에 관해 린과 테그마크(2016)의 오해를 바로잡는 것.
• 자유 에너지 유지만으로는 정확한 물리적 예측이 불충분하며, 자유 에너지의 도함수(예: 자화도)가 물리적으로 관련이 있다는 점을 명확히 하는 것.
• 린과 테그마크가 제시한 '반례'가 트레이스 조건을 위반함을 입증하여, 이는 변분 RG 절차에서 필수적인 조건임을 보여주는 것.
• 메하타와 슈바브(2014)에서 유도된 사상이 올바른 이론적 프레임워크 하에서는 여전히 유효함을 재확인하는 것.

제안 방법

• 카단오프가 제시한 변분 RG 절차를 분석하여, Tr_h[e^{T(v,h)}] = 1이라는 트레이스 조건이 적절한 군집화를 보장하는 데서의 역할을 강조한다.
• 트레이스 조건은 자유 에너지 유지를 암시하지만, 그 역은 성립하지 않음을 보여준다. 즉, 자유 에너지 유지만으로는 트레이스 조건이 보장되지 않는다.
• 린과 테그마크의 반례를 상세히 분석하여, 자유 에너지를 유지하지만 K(y)가 일정하지 않아 트레이스 조건을 위반함을 입증한다.
• 메하타와 슈바브(2014)에서 트레이스 조건가 잘못된 이중조건식으로 기술된 타이포가 있었으며, 이는 린과 테그마크의 오해를 초래했을 가능성이 있음을 밝힌다.
• 이론적 분석을 통해 반례가 트레이스 조건이 올바르게 적용된 경우 원래의 사상과 호환됨을 확인한다.
• 저자들은 물리적 관련성은 자유 에너지 유지 이상이 필요하며, 분포의 구조를 유지하기 위해 트레이스 조건이 필수적임을 주장한다.

실험 결과

연구 질문

• RQ1 자유 에너지 유지만으로도 변분 RG와 딥 베리패스 네트워크 간의 사상이 유효하다고 보장할 수 있는가?
• RQ2 왜 린과 테그마크의 반례는 변분 RG와 딥 베리패스 네트워크 간의 사상 유효성을 무너뜨리지 못하는가?
• RQ3 변분 RG 프레임워크에서 Tr_h[e^{T(v,h)}] = 1이라는 트레이스 조건의 역할은 무엇이며, 왜 필수적인가?
• RQ4 린과 테그마크의 예에서 트레이스 조건 위반이 그들의 주장 유효성에 어떤 영향을 미치는가?
• RQ5 군집화 변환은 자유 에너지를 유지하면서도 자화와 같은 물리적으로 관련된 양을 유지하지 못할 수 있는가?

주요 결과

• 린과 테그마크의 반례는 자유 에너지를 유지하지만, 변분 RG 프레임워크에서 필수 조건인 Tr_h[e^{T(v,h)}] = 1의 트레이스 조건을 위반한다.
• 그들의 예에서 트레이스 조건 위반은 메하타와 슈바브(2014)에서 유도된 사상과의 모순을 일으키지 않으며, 이 사상은 명시적으로 트레이스 조건을 요구한다.
• 자유 에너지 유지만으로는 정확한 물리적 예측이 불충분하며, 물리적 관측량은 자유 에너지의 도함수에 의존함을 확인한다.
• 메하타와 슈바브(2014)에서 트레이스 조건가 잘못된 이중조건식으로 기술된 타이포는 린과 테그마크의 비판에서 오해를 낳는 데 기여했을 가능성이 있다.
• 반례는 수학적으로 타당하지만, 변분 RG 절차의 핵심 조건을 충족하지 못하므로 원래의 사상에 영향을 주지 않는다.
• 트레이스 조건이 올바르게 적용될 경우 변분 RG의 이론적 프레임워크는 딥 베리패스 네트워크와 함께 여전히 강력하고 호환 가능하다.