[논문 리뷰] Leaky Abstraction In Online Experimentation Platforms: A Conceptual Framework To Categorize Common Challenges

Timo Kluck, Lukas Vermeer|arXiv (Cornell University)|2017. 10. 01.

Scientific Computing and Data Management참고 문헌 2인용 수 9

한 줄 요약

이 논문은 '누출되는 추상화의 법칙'에 따라 통계 단위 추적, 샘플링, 메트릭 정의, 비즈니스 해석 등의 추상화가 어떻게 누출되는지 파악함으로써 온라인 실험 플랫폼에서 흔히 발생하는 과제를 분류하는 개념적 프레임워크를 제안한다. 실험 유효성을 해칠 수 있는 플랫폼 수준의 구현 문제를 인지하고 해결하는 데 도움이 되도록 사용자 인식 향상, 전문가 검토, 자동 경고 등의 보완 전략을 제안한다.

ABSTRACT

Online experimentation platforms abstract away many of the details of experimental design, ensuring experimenters do not have to worry about sampling, randomisation, subject tracking, data collection, metric definition and interpretation of results. The recent success and rapid adoption of these platforms in the industry might in part be attributed to the ease-of-use these abstractions provide. Previous authors have pointed out there are common pitfalls to avoid when running controlled experiments on the web and emphasised the need for experts familiar with the entire software stack to be involved in the process. In this paper, we argue that these pitfalls and the need to understand the underlying complexity are not the result of shortcomings specific to existing platforms which might be solved by better platform design. We postulate that they are a direct consequence of what is commonly referred to as "the law of leaky abstractions". That is, it is an inherent feature of any software platform that details of its implementation leak to the surface, and that in certain situations, the platform's consumers necessarily need to understand details of underlying systems in order to make proficient use of it. We present several examples of this concept, including examples from literature, and suggest some possible mitigation strategies that can be employed to reduce the impact of abstraction leakage. The conceptual framework put forward in this paper allows us to explicitly categorize experimentation pitfalls in terms of which specific abstraction is leaking, thereby aiding implementers and users of these platforms to better understand and tackle the challenges they face.

연구 동기 및 목표

• 온라인 실험 플랫폼에서 반복적으로 발생하는 과제를 누출되는 추상화의 표현으로 식별하고 분류하는 것.
• 이러한 과제들이 플랫폼 결함 때문이 아니라, '누출되는 추상화의 법칙'에 따라 소프트웨어 추상화의 본질적인 특성 때문이라는 것을 보여주는 것.
• 추상화 계층이 존재함에도 불구하고 플랫폼에 대한 깊은 지식이 여전히 필수적인 이유를 이해하기 위한 체계적인 시각을 제공하는 것.
• 사용자 인식 향상, 전문가 검토, 자동 경고와 같은 실용적인 보완 전략을 제안하여 잘못된 실험 결과의 위험을 줄이는 것.
• 플랫폼 설계자와 실험자들이 A/B 테스팅 시스템의 숨겨진 구현 세부 정보에서 비롯된 문제를 예측하고 해결할 수 있도록 돕는 것.

제안 방법

• 실험 플랫폼의 핵심 추상화를 통계 단위 및 추적, 샘플링, 메트릭 정의 및 구현, 메트릭의 비즈니스 의미의 네 가지 핵심 영역으로 분류한다.
• 비콘 요청 손실이나 캐시 제거 영향과 같은 실제 실험적 오류를 추상화 누출의 관점에서 분석한다.
• 플랫폼 동작이 기대되는 이론적 모델과 다를 때 발생하는 문제들을 추상화 실패로 프레임워크화한다.
• 사용자 인식 향상, 실험 설계의 전문가 검토, 알려진 악성 패턴에 대한 자동 경고 구현을 포함한 세 가지 보완 전략을 제안한다.
• 치료 로직이 측정에 영향을 미칠 수 있는 사례 연구를 통해, 예를 들어 지연 클릭이 비콘 전달을 증가시켜 실제 사용자 참여 없이도 클릭률이 인위적으로 향상되는 현상을 보여주며, 플랫폼의 가정이 전체 트래픽에 대해 확장되지 않을 수 있음을 설명한다.
• 각 실패가 어떤 특정 추상화가 누출되었는지 식별함으로써, 대응 가능한 진단 및 방지가 가능한 개념적 프레임워크를 개발한다.

실험 결과

연구 질문

• RQ1 온라인 실험 플랫폼에서 흔히 발생하는 오류들은 소프트웨어 추상화의 실패로 어떻게 나타나는가?
• RQ2 실험 시스템에서 고수준 추상화가 존재함에도 불구하고 플랫폼 전문 지식이 완전히 제거될 수 없는 이유는 무엇인가?
• RQ3 어떤 방식으로 동일한 실험 결과가 진정한 치료 효과가 아닌, 특정 구현 방식의 행동 때문에 오해의 소지가 있을 수 있는가?
• RQ4 플랫폼 설계자와 사용자는 추상화 누출의 영향을 예측하고 줄이기 위해 어떤 전략을 사용할 수 있는가?
• RQ5 실험에서 알려진 악성 패턴은 어떻게 체계적으로 탐지하고 사용자에게 사전에 알릴 수 있는가?

주요 결과

• 추상화 누출은 소프트웨어 시스템의 본질적인 특성이며, 실험 플랫폼도 예외가 아니다. 사용자는 잘못된 결론을 피하기 위해 기반 구현 세부 정보를 이해해야 한다.
• 지연된 치료가 브라우저 동작으로 인해 비콘 전달을 증가시켜 실제 사용자 참여 없이도 클릭률이 인위적으로 향상되는 것은 추상화 누출의 잘 알려진 사례이다.
• 다른 예로 캐시 제거가 있다. 50% 트래픽 처리에서는 낮은 캐시 압력으로 인해 양호한 성능을 보일 수 있지만, 전체 트래픽 노출 시 고도의 제거율이 발생해 성능이 악화되며, 이는 플랫폼의 가정을 무너뜨린다.
• 플랫폼은 부분적 트래픽 노출이 전체 트래픽 행동을 반영한다고 가정하지만, 캐싱이나 메모리 사용과 같은 자원 제약 조건에서는 종종 실패한다.
• 자동 경고, 전문가 검토, 사용자 인식 향상과 같은 보완 전략은 추상화 누출의 위험을 줄일 수는 있지만, 완전히 제거할 수는 없다.
• 개념적 프레임워크는 어떤 추상화가 누출되었는지 식별함으로써 실험 오류를 체계적으로 분류할 수 있게 하여, 반복적인 문제의 진단과 방지를 향상시킨다.